Проза ру  
авторы произведения рецензии о сервере 
вход для авторов регистрация   
 

Национальный сервер современной прозы | сделать стартовой | в закладки | стихи | классика | литературный клуб | литпортал  
Версия для печати
Структура глобальной катастрофы
Алексей Турчин
Первую часть - методологию - см. в «Список возможных ошибок в рассуждениях о глобальных рисках.»

Полный док файл всего текста – обе части и предисловие - доступен здесь – 
www.avturchin.narod.ru/knigasgk.doc

Структура глобальной катастрофы.
Версия 0.96
7 декабря 2007 года 

(с) 2007 Алексей Валерьевич Турчин

Внимание, это ещё не окончательный текст, и в нём могут быть опечатки, фактические неточности и пропущенные смысловые элементы! Буду признателен за конструктивные замечания.


Алексей Турчин
avturchin*mail.ru

Оглавление:

Термины 7
Раздел 1. Введение. 8
1.1. Рассматриваемый промежуток времени: XXI век. 9
1.2. Проблемы численного вычисления вероятностей различных сценариев. 10
1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами. 17
1.4. Глобальные катастрофы и горизонт прогноза. 18
1.5. Историография. 21
1.6. Уровни возможной деградации. 22
РАЗДЕЛ 2. ОДНОФАКТОРНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 25
2.1. АТОМНОЕ ОРУЖИЕ. 26
2.1.1. Ядерная зима. 27
2.1.2. Полное радиоактивное заражение. 30
2.1.3. Сверхбомба. 32
2.1.4. Накопление антиматерии. 33
2.1.5. Дешёвая бомба. 33
2.1.6. Равномерная атака на радиационные объекты. 34
2.1.7. Взрыв мощных бомб в космосе. 34
2.1.8. Интеграция поражающих факторов ядерного оружия. 35
2.1.9. Стоимость. 35
2.1.10. Вероятность данного события. 35
2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени. 39
2.1.12. Стратегия сдерживания под вопросом. 40
2.1.13. Выводы по ядерной войне. 41
2.2. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ. 41
2.2.2. Выводы по рискам, технологии для которых уже готовы. 46
2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий. 46
2.3. БИОЛОГИЧЕСКОЕ ОРУЖИЕ. 47
2.3.1. Общие соображения и основные сценарии. 47
2.3.2. Структура биологической катастрофы 49
2.3.3. Саморазмножающейся синтезатор ДНК. 51
2.3.4. Множественный биологический удар. 51
2.3.5. Биологические средства доставки. 52
2.3.6. Вероятность применения биологического оружия и её распределение во времени. 53
2.4. СУПЕРНАРКОТИК. 55
2.5. РИСКИ, СВЯЗАННЫЕ С САМОКОПИРУЮЩИМИСЯ ИДЕЯМИ – МЕМАМИ. 58
2.6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. 60
2.6.1. Общее описание проблемы. 60
2.6.2. Что нужно для ИИ в смысле технологии. 61
2.6.3. Почему ИИ является универсальным абсолютным оружием. 62
2.6.4. Система целей. 62
2.6.5. Борьба ИИ-проектов между собой. 62
2.6.6. Усовершенствованный человек. 63
2.6.7. ИИ и его отдельные экземпляры. 63
2.6.8. «Бунт» ИИ. 64
2.6.9. Скорость старта. 64
2.6.10. Сценарии «быстрого страта»: 64
2.6.11. Медленный старт и борьба разных ИИ между собой. 65
2.6.12. Плавный переход. Превращение государства в ИИ. 66
2.6.13. «Восстание» роботов. 67
2.6.14. Контроль и возможность истребления. 68
2.6.15. ИИ и государства. 69
2.6.17. Вероятность появления ИИ. 69
2.6.18. Другие риски, связанные с компьютерами. 71
2.6.19. Время возникновения ИИ. 72
2.7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛГИЯМИ. 73
2.7.1. Робот-распылитель 73
2.7.2. Самовоспроизводящийся робот. 73
2.7.3. Стая микророботов. 74
2.7.4. Армии крупных боевых роботов, выходящие из-под контроля. 74
2.7.5. Неограниченное распространение нанороботов. 74
2.7.7. Вероятность возникновения нанороботов и возможное время для этого события. 78
2.8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ЕСТЕСТВЕННЫХ ПРИРОДНЫХ КАТАСТРОФ. 79
2.8.1. Отклонение астероидов. 79
2.8.2. Создание искусственного сверхвулкана. 79
2.9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ. 81
2.9.1. Неудачный физический эксперимент. 81
2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия. 85
2.10. РИСКИ, СВЯЗАННЫЕ С ОСВОЕНИЕМ КОСМИЧЕСКОГО ПРОСТРАНСТВА. 85
2.10.1. Атака на Землю с помощью космического оружия. 85
2.10.1. Ксенобиологические риски. 86
2.10.2. Столкновение с превосходящими нас разумными силами. 87
2.10.3. Риски, связанные с программой SETI. 89
2.11. РИСКИ, СВЯЗАННЫЕ С РАЗМЫВАНИЕМ ГРАНИЦ МЕЖДУ ЧЕЛОВЕКОМ И НЕЧЕЛОВЕЧЕСКИМ. 99
2.11.1. Риски, связанные с проблемой «философского зомби». 99
2.12. ПРИРОДНЫЕ РИСКИ. 100
2.12.1. Геологические катастрофы. 100
2.12.2. Извержения сверхвулканов. 100
2.12.3. Падение астероидов. 102
2.12.4. Зона поражения в зависимости от силы взрыва. 105
2.12.5. Солнечные вспышки и увеличение светимости. 107
2.12.6. Гамма-всплески. 109
2.12.7. Сверхновые. 111
2.12.8. Глобальное потепление. 111
2.12.9. Сверх-цунами. 112
2.12.10. Сверх-землетрясение. 113
2.12.11. Переполюсовка магнитного поля Земли. 114
2.12.13. Возникновение новой болезни в природе. 114
2.12.14. Маргинальные природные риски. 115
2.12.15. Переход вакуума в состояние с более низкой энергией. 115
2.12.16. Неизвестные процессы в ядре Земли. 115
2.12.17. Взрывы других планет Солнечной системы. 118
2.12.18. Немезида. 118
2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип. 118
2.12.20. Ослабление устойчивости и человеческие вмешательства. 120
2.13. ВИДОВЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ. 120
2.13.1. Исчерпание ресурсов. 120
2.13.2. Перенаселение. 121
2.13.3. Крах биосферы. 122
2.13.4. Социально-экономический кризис. Война. 122
2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению). 122
2.13.6. Старение вида. 123
2.13.7. Вытеснение другим видом. 123
2.14. НЕИЗВЕСТНЫЕ НАМ СЕЙЧАС ПРИЧИНЫ КАТАСТРОФ. 124
2.14.1. Закон Мура в отношении глобальных катастроф. 124
2.15. «Конструктор» однофакторных сценариев глобальной катастрофы. 125
2.15.1. Общие признаки любого опасного агента. 125
2.15.2. Способы возникновения. 126
2.15.3. Выход из точки и начало распространения. 126
2.15.4. Распространение важнее разрушения. 127
2.15.5. Способ распространения. 128
2.15.6. Способ причинения смерти. 129
2.15.7. Типичные виды разрушающего воздействия: 130
2.15.8. Временная структура события. 131
2.15.9. Предаварийные ситуации 132
2.15.10. Намеренная и случайная глобальная катастрофа. 133
2.15.11. Машина судного дня. 134
3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ. 135
3.1. Интеграция различных технологий, создающие ситуации риска. 135
3.2. Парные сценарии. 137
3.3. Исторические аналогии глобальной катастрофе. 140
3.4. Неизбежность достижения устойчивого состояния. 143
3.5. Рекуррентные риски. 144
3.6. Глобальные риски и проблема темпа. 145
3.7. Сравнительная сила разных опасных технологий. 146
3.8. Последовательность возникновения различных технологий во времени. 147
3.9. Сопоставление факторов риска разных технологий. 148
3.10. Цели создания. 150
3.11. Социальные группы, готовые рискнуть судьбой планеты. 154
3.12. Обобщающий коэффициент, связанный с человеческим фактором. 154
3.13. Принятие решения о ядерном ударе. 156
3.14. Цена вопроса. 157
4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА. 159
4.2. События, которые могут открыть окно уязвимости. 160
4.3. Системные кризисы. 161
4.4. Кризис кризисов. 169
4.5. Технологическая Сингулярность. 171
4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов. 173
4.7. Системный кризис и технологические риски. 175
4.8. Степень мотивации и осведомленности как факторы глобального риска. 175
5. КРИПТОВОЙНЫ, ГОНКА ВООРУЖЕНИЙ И ДРУГИЕ СЦЕНАРНЫЕ ФАКТОРЫ, ПОВЫШАЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 178
5.1. Криптовойна. 178
5.2. Уязвимость к сверхмалым воздействиям. 179
5.3. Гонка вооружений. 179
5.4. Моральная деградация. 180
5.5. Враждебность как сценарный фактор. 181
5.6. Месть как сценарный фактор. 181
5.7. Война как сценарный фактор. 182
5.8. Деградация биосферы. 184
5.9. Глобальная дезинфекция. 184
5.10. Экономика как сценарный фактор. 185
5.11. Точка абсолютной уязвимости. 185
5.12. Раскачивающее управление. 186
5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска. 186
5.14. Открытия. 189
5.15. Общие модели поведения систем на грани устойчивости. 190
5.16. Переход катастрофического процесса с одного уровня на другой. 191
5.17. Схемы сценариев. 191
5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий. 192
6. ГЛОБАЛЬНЫЕ РИСКИ ТРЕТЬЕГО РОДА. 192
6.1. Определение. 192
6.2. Закон Мура. 193
7. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ. 197
7.1. Общее понятие о предотвратимости глобальных рисков. 197
7.2. Активные Щиты. 199
7.3. Действующие и будущие щиты: 202
7.4. Последовательность действия щитов разного уровня. 203
7.5. Сохранение мирового баланса. 203
7.6. Система контроля. 204
7.7. Сознательная остановка технологического прогресса. 205
7.8. Средства превентивного удара. 206
7.9. Удаление источников рисков на значительное расстояние от Земли. 207
7.10. Выживание на природе, создание отдалённых поселений. 208
7.11. Создание досье на глобальные риски и рост общественного понимания. 208
7.12. Убежища и бункеры. 208
7.13. Опережающее расселение в космосе. 212
7.14. Всё как-нибудь обойдётся. 212
7.15. Деградация в устойчивое состояние. 213
7.16. Предотвращение одной катастрофы с помощью другой. 213
7.17. Организации, ответственные за предотвращение катастрофы. 214
7.18. Проблема моделирования сценариев глобальной катастрофы. 216
7.19. Глобальные катастрофы и проблема веры. 221
7.20. Глобальные катастрофы и устройство общества. 226
7.21. Глобальные катастрофы и текущая ситуация в мире. 229
7.22. Мир после глобальной катастрофы. 229
7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф. 231
8. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 232
8.1. Закон Парето. 232
8.2. Гипотеза о «Чёрной королеве». 233
8.3. Парадокс Ферми. 234
8.4. «Doomsday argument». Формула Готта. 235
8.5. Рассуждение о конце света Картера-Лесли. 237
8.6. Аналогия с человеком. 241
8.7. Непрямая оценка вероятности природных катастроф. 241
8.8. Рассуждение о Симуляции. 243
8.9. Интеграция различных непрямых оценок. 246
9. ЗАКЛЮЧЕНИЕ. НАИБОЛЕЕ ВЕРОЯТНЫЙ СЦЕНАРИЙ ГЛОБАЛЬНОЙ КАТАСТРОФЫ. 248
10. Рекомендуемая литература: 251
Литература: 254



Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.
А.П.Чехов. «Чайка»

Структура глобальной катастрофы.
Введение.
Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)
Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги. 
Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие. 
Термины
В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):
ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку
Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».
Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.
Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества. 
Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.
Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.
Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет. 
Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».




Часть 2. Анализ Рисков. 

Раздел 1. Введение. 

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. 
«Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.
Один из важнейших способов достижения безопасности - это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска – учтены. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста. 
Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем. 
Вся информация взята из открытых источников, доступных в Интернете. 
1.1. Рассматриваемый промежуток времени: XXI век.
В этой статье анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Однако некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века, и в этом случае мы обсуждаем их. Однако такая граница позволяет нам не рассматривать в качестве рисков существованию отдалённые космические события, вроде превращения Солнца в красного гиганта. Эта граница взята не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000. 
Иначе говоря, я полагаю, что любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2107 г. – 100 лет от настоящего момента - и 2101 г. – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)
Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 23, а только несколько лет до того момента, когда глобальная достигнет своей максимальной вероятности. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «тезис о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную. 
Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Иначе говоря, глобальные катастрофы не относятся к неким абстрактным нашим потомкам. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти. 
1.2. Проблемы численного вычисления вероятностей различных сценариев.
Начну с цитаты из рассказа «О невозможности прогнозирования» С.Лема:
«Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...» (http://lib.meta.ua/book/9670/)
Предлагаемая картина глобальных рисков и их взаимодействия друг с другом естественно вызывает желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 процентов в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 процента, мы всё равно этого никак не проверим. 
Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 процентов в первой половине XXI века, а риск Б – 50 процентов во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 процентов, потому что в половине случаев мы до него не доживём. 
Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 процента даст 50 процентов вымирания за 100 лет, 75 за 200 и 99,9 за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 процентную вероятность вымирания цивилизации. 
Иначе говоря, вероятность вымирания за период времени [ 0; T ] равна:
P(T)= 1- 2**(-T/T0),
Где Т0 – время полураспада. Тогда погодовая вероятность будет P(1)=1 - 2**(-1/T0),

Следующая таблица показывает соотношение этих параметров.

Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью
99,9%, лет:
10 000 0.0069% 0,7% 99,3% 100 000
1 600 0.0433% 6% 94% 16 000
400 0.173%
12,5% 87,5% 4 000
200 0.346% 25% 75% 2 000
100 0.691% 50% 50% 1 000
50 1,375% 75% 1 к 4 500
25 2,735% 93,75% 1 к16 250
12,5 5,394% 99,6% 1 к 256 125
6 10,910% 99,9984% 1 к 16 536 60

Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти точно есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.
В введении мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 50 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату): 
«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала. 
Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.
Другая группа из 35 испытуемых была попрошена оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.
Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%. 
Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.
Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.
Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.
Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты»».Конец цитаты.
Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала. 
Обозначим величиной N степень расширения интервала уверенности для некой величины A следующим образом: (A/N; A*N). Например, если мы оценивали нечто в 10%, и N=3, то интервал будет (3%; 30%).
Каково должно быть N для глобальных рисков, пока сказать трудно, но мне кажется разумным выбрать N=10. В этом случае, мы с одной стороны, получаем очень широкие интервалы уверенности, в которые искомая величина, скорее всего, попадёт, а с другой стороны, эти интервалы будут различны для различных величин.
Другой способ определения N – изучить среднюю ошибку, даваемую экспертами в их оценках и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100, говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении. Это обобщение не снижает ценности таких вычислений, поскольку разница между некоторыми рисками может оказаться в несколько порядков. А для принятия решения о важности противостоянии той или иной опасности нам нужно знать порядок величины риска, а не риск с точностью до второй цифры после запятой, как это можно и нужно в страховании и финансовых рисках. 
Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить в лучшем случае с точностью до порядка, причём точность такой оценки будет плюс-минус порядок, и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга той или иной проблемы. (Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны). Похожими примерами шкал риска являются Туринская и Палермская шкалы риска астероидов. 
В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):
1) Неизбежные события. Оценка их вероятности - порядка 100 процентов в течение всего века. Будем обозначать такие события как события порядка Е2. Интервал: (10%; 100%) (Иначе говоря, даже то, что нам кажется неизбежным, может быть просто весьма вероятным.)
2) Весьма вероятные события – оценка вероятности порядка 10 процентов. Порядок Е1. (1%; 100%)
3) Вероятные события – оценка порядка 1 процента. Порядок Е0. (0,1%; 10%)
4) Маловероятные события – оценка 0,1 процента. Порядок Е-1. (0,01%; 1%)
5) События с ничтожной вероятностью – оценка 0,01 процента и меньше. Порядок Е-2. (0%; 0,1%)
Пунктами 4) и 5) мы могли бы пренебречь в нашем анализе, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако на самом деле ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможно несколько десятков разных сценариев с вероятностью Е0, то всё это множество имеет твёрдый Е1. К категории Е2 относится только тот факт, что в течение XXI века мир существенно изменится. 
Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100%? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90%. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже бы составляла 90%. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в тоже самое время, не может просто складываться с вероятностями других глобальных рисков.
В нашем примере шансы машины доехать до конца пути равны 1%, а шансы, что причиной аварии стал каждый из двух рисков – 49,5%. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1% машин, но распределение вкладов каждого риска будет иным: 90% машин разобьётся на первом участке дороги из-за шин, и только 9% на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия. 
В наших рассуждениях мы будем широко пользоваться Принципом предосторожности, то есть мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом под реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же парамтрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности, что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий. При расширении вероятностных промежутков нам следует уделять внимание в первую очередь расширению в худшую сторону – то есть в сторону увеличения вероятности и уменьшения оставшегося времени. Однако если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, то и другое появится через пару десятков лет. 
Высказанные соображения пригодятся нам при дальнейшем исследовании и классификации катастроф.
1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами.
В экономике распространён метод предсказания, основанный на опросе экспертов и составлении среднеарифметического по результатам. Далее я привожу известные мне оценки ведущих экспертов в этой области. (Эти люди упоминаются в статье английской Википедии, посвящённой человеческому вымиранию http://en.wikipedia.org/wiki/Human_extinction , что говорит об их общепризнанности как экспертов в этой области. Помимо них там упоминаются ещё несколько человек, чьи численные оценки неизвестны. Понятно, однако, что есть огромное количество экспертов и футурологов, которые вообще не думают о вопросах возможности человеческого вымирания и потому не упоминаются в этой статье.) 
Лесли, 1996 «Конец света»: 30% в ближайшие 500 лет с учётом действие теоремы о Конце света (Doomsday argument – см. главу о нём в конце книги), без него – 5%.
Бостром, 2001 «Анализ сценариев вымирания»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше… В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации».
Мартин Рис, 2003 «Наш последний час»: 50% в XXI веке. (Курцвейль приходит к аналогичным выводам.)
Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако промежуток времени, на который даётся это предсказание, каждый раз сокращается, в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06% (и даже 0,012% без учёта DA), 2001 – 0,125%, 2003 – 0,5%. 
Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что 3 эксперта недостаточно для статистики, и что они могли взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы мы можем ожидать оценок погодовой вероятности вымирания в 5 процентов, а в 20-е – в 50 процентов, что означало бы неизбежность вымирания до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее разными независимыми способами. 
С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65%. Фон Нейман считал, что а) ядерная война неизбежна и б) все в ней погибнут. 
1.4. Глобальные катастрофы и горизонт прогноза.
Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогноза – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать. 
Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические расклады полностью устаревали. От открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся пятилетними планами. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается сила инерции, то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза. 
Таким образом, мы можем сказать, что до начала «полосы тумана» в прогнозах будущего – примерно 5 лет, то есть это 2012 год от момента, когда я пишу эти строки – то есть 2007 года. Иначе говоря, мы более-менее отчётливо представляем, какие технологии будут в ближайшие пять лет. И гораздо более смутно представляем более поздние технологии. При этом есть много отдельных технических проектов вплоть до 2020-х годов – скажем, ИТЭР или освоение Луны, и есть многие бизнес планы, которые рассчитаны на срок до 30 лет, скажем, долгосрочная ипотека. Просто 5 лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в самых разных видах человеческой деятельности. При этом с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.
Абсолютным пределом в прогнозах оказывается 2030 год, в районе которого предполагаются возможными мощные нанотехнологии, искусственный интеллект и полное овладением биоконструированием. После этой даты нет смысла в оценках кривых роста популяции или запасов каменного угля, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про Технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогноза просто за счёт сужения пространства возможностей (в духе: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-ым годам, однако мало кто решается дать обоснованные предсказание на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе Технологической Сингулярности даёт неопределённость более высокого порядка, похожую на квантовую, но связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящий наш.
Однако надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности системы. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что хотя граница предсказуемости постепенно снижается за счёт ускорения факторов прогресса, она может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.
Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно тоже самое, что и сегодня), или через десятки лет (он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно через 30 лет или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден. 
В силу сказанного, хотя мы и исследуем риски глобальной катастрофы во всём XXI веке, наибольшей интерес для нашего исследования представляет промежуток в примерно два десятилетия между 2012 и 2030 годами. До этого момента вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.
1.5. Историография.
Историю исследований глобальных рисков можно представить в виде следующей краткой схемы:
1. Античные, средневековые и мистические представления о конце света.
2. Ранненаучные представления о возможности «тепловой смерти» Вселенной и подобных сценариях. Ситуация в первой половине 20 века.
3. Яркое осознание способности человечества истребить себя, начиная с 1945 года, в связи с возникновением ядерного оружия. Кун «Термоядерная война». Шют Н. «На берегу». Работы Моисеева и Сагана по ядерной зиме. Фон Хорнер – книга с объяснением возможных причин парадокса Ферми. Основное объяснение – высокая вероятность вымирания цивилизаций на технологической стадии. 
4. Глобальные риски в классической футурологии. Постепенно эти риски становятся основным вопросом футурологии, а в начале были случайным событием. 
5. Вторая волна, связанная с осознанием угроз от биологического, нанооружия, искусственно сдвигаемых астероидов и других отдельных рисков. Роль фантастики в этом. Вторая половина 20 века. Деятельность Станислава Лема. «Непобедимый», «Сумма технологий», «Фантастика и футурология» и др. работы. Эрик Дрекслер «Машины созидания».
6. Появление обобщающих работ Азимова (1980), Лесли (1996), Мартина Риса (2003). Познера (2004). 
7. Анализ логических парадоксов, связанных с глобальными рисками – Doomsday argument в разных формах. Лесли, Бостром, Готт, Кейв.
8. Развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Работы Пригожина, Ханзена и российских авторов Курдюмова, Малинецкого, Назаретяна и др.
9. Понимание связи между глобальными рисками и «Сингулярностью». Бостром, Юдковский, Капица, Панов. Чиркович в Сербии. 
10. Статьи и книги с исследованиями отдельных рисков. Фрейтас «Серая слизь». Кэрриген «SETI хакер», Чиркович «Геоинженерия, пошедшая насмарку», «Doomsday men’ Смита, «Случайная ядерная война» Блера. 
11. Возникновение методологии анализа глобальных рисков. Переход от перечисления рисков к метаанализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Работы Бострома и Юдковского. Сборник «Риски глобальной катастрофы» в Оксфорде.
12. Возникновение общественных организаций, пропагандирующих защиту от глобальных рисков. Lifeboat Foundatation. Фильм Technocalipsis.
13. Исследование вопроса в России. Абрамян «Судьба цивилизации», Д. Медведев в Российском Трансгуманистическом Движении (РТД). Интернет-проект А.Кононова о неуничтожимости цивилизации. Мои переводы. Статьи в сборнике ИСА РАН.

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, затем осознание ещё нескольких глобальных рисков, затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. 
Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы.
1.6. Уровни возможной деградации.
Хотя в этой книге мы исследуем глобальные катастрофы, которые могу привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут просто отбросить человечество сильно назад. Будучи отброшенным назад, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости, о чём мы подробнее будем говорить позже. Однако при перечислении возможных однофакторных сценариев мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества. 
В зависимости от тяжести произошедшей катастрофы, могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы тоже иногда будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно выделить несколько возможных ступеней отката:
1. Откат общества назад, как после распада СССР или краха Римской империи. Здесь происходит значительное прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Производство и применение очень опасных вооружений может продолжаться – что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно и займёт от десятков до сотен лет.
2. Значительная деградация общества, отчасти как в современном Афганистане, где люди умеют только сеять мак и стрелять из автомата Калашникова. Утрата государственности и распад на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир» и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт скорее случайно – в результате эпидемий, загрязнения среды, случайного применения оружия, сила которого неочевидна.
3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одно стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, определённо продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены изо всех сил бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём. 
4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству как Адам и Ева. Даже группа, где есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство, перевешивают способность к нему – например, если дети рождаются всё более и более больными. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.
Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, которые находятся вне обычной среды. И находятся они там или нарочно, или случайно, если отдельные группы людей случайно уцелели в неких замкнутых пространствах. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии. 
Возможны и промежуточные фазы постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более глубокого уровня есть ещё больше шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне родо-племенного строя, когда опасные технологии уже разрушились, последствия их применений выветрились, а новые технологии ещё не созданы и не могут быть созданы
Если представить себе следующую схему: прогресс – государство – общество - группа людей – отдельный человек, – то отход на каждый следующий уровень деградации означает потерю одного элемента слева от этого списка. И чем ниже мы по этому списку, тем более зависимы от природы и различных случайных факторов. Уровни постапокалиптического мира различаются и тем, что будет главной ценностью в нём. Варианты: золото – патрон – еда – способная к деторождению женщина. 
При этом неверное думать, что откат назад – это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень XIX века, или уровень XV века. Деградация технологий не будет линейной и одновременной. Например, такую вещь, как автомат Калашникова, забыть будет очень сложно. Даже в Афганистане местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации от будущего к прошлому. Иначе говоря, если технологии разрушения буду деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз. 
Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно употреблять исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание всё более нижнего уровня требует всё меньшего числа людей, и он всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода «утряски» после катастрофы. 
Тут возможны следующие базовые варианты (отчасти аналогичные предыдущей классификации):
1. «Уровень 19 века» - железные дороги, уголь, огнестрельное оружие и всё. Уровень самоподдержания требует, вероятно, десятков миллионов человек.
2. Уровень «средневековья» - этот уровень соответствует уровню «сельскохозяйственных» государств и в широком смысле включает в себя как классические рабовладельческие государства, так и позднесредневековые. То есть в данном контексте важно не наличие или отсутствие рабства, а использование мускульной силы животных, сельского хозяйства, разделение труда, наличие государства. Уровень самоподдержания требует, вероятно, от тысяч до миллионов людей. 
3. Уровень племени. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число 10-1000 человек. 
4. Уровень стаи или «маугли». Полная утрата человеческих навыков, речи, при сохранении в целом генофонда. 1-100 человек. 

РАЗДЕЛ 2. ОДНОФАКТОРНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
В этом разделе мы рассмотрим классическую точку зрения на глобальные катастрофы, которая состоит в перечислении списка ни как не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательно, так как оно не рассматривает многофакторные и немгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является статья Бострома «Угрозы существованию». 
Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы отвергнем эти факторы. Глобальные риски, создаваемые человеком, делятся на две категории: риски, связанные с новыми технологиями, и социальные видовые риски (к последним относятся те риски, которые не связаны с новыми технологиями: исчерпание ресурсов, перенаселение, утрата фертильности, накопление генетических мутаций, вытеснение другим видом, моральная деградация, социальный и экономический кризис).
Технологические риски различаются по степени готовности их «элементарной базы». Одни из них технически возможны в настоящий момент времени, тогда так другие требуют в разной степени длительного развития технологий и, возможно, некий принципиальных открытий. 
Соответственно, можно выделить три категории:
А) риски, для которых технология полностью разработана (ядерное оружие) или требует незначительно доработки.
Б) риски, технология для которых успешно развивается и не видно никаких теоретических препятствий для её реализации в обозримом будущем (биотехнологии).
В) риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски – весомая часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий.
Значительная часть рисков находится между пунктами Б и В, так как с точки зрения одних исследователей речь идёт о принципиально недостижимых или бесконечно сложных вещах, а с точки других – вполне технологически реализуемых (нанороботы и искусственный интеллект). Принцип предосторожности заставляет нас выбирать тот вариант, где они возможны. 
2.1. АТОМНОЕ ОРУЖИЕ.
Классическим примером угрозы существованию человечества является угроза ядерной войны. Обычно о ядерной войне говорят, что она приведёт к «уничтожению всей земной жизни». Однако, судя по всему, это утверждение является натяжкой. Ядерное оружие имеет три фактора глобального поражения – непосредственный удар по всей площади Земли, радиоактивное заражение всей Земли и ядерная зима. Далее мы покажем, что хотя каждый из этих эффектов может в исключительных обстоятельствах привести к человеческому вымиранию, обычная ядерная война не должна к ним привести, хотя жертвы будут огромны. 
Оценим, какое количество боеголовок нужно, чтобы уничтожить всех без исключения людей, если они будут равномерно и одновременно применены по всей поверхности Земли. Для почти полного уничтожения людей на суше потребуется не менее ста тысяч боеголовок мегатонного класса. (Если считать, что одна боеголовка поражает площадь в 1000 кв. км, что вероятно, завышено. Гарантированное уничтожение потребует гораздо большего числа зарядов, поскольку даже под эпицентром взрыва в Хиросиме были выжившее – в 500 метрах от точки взрыва.) В тоже время огромные участки суши необитаемы. Итак, 100 000 боеголовок поставят людей на грань вживания, хотя и не уничтожат всех людей гарантировано, так как останутся корабли, самолёты, случайные выжившие и подземные убежища. Следует отметить, что на пике холодной войны ведущие державы обладали количеством боеголовок порядка 100 000, а накопленные запасы плутония (2000 тонн, хотя не весь он «оружейный» - то есть чистый) позволяют произвести до миллиона боеголовок. Вместе с тем ни один сценарий ядерной войны не предполагает равномерного удара по всей площади планеты. Даже если возникнет цель всепланетного самоубийства, найдутся способы попроще. С другой стороны, теоретически возможно создать такое количество бомб и средств доставки, чтобы нанести удар по всей территории планеты.
Однако ядерная война создаёт два следствия – ядерную зиму и радиоактивное заражение.
2.1.1. Ядерная зима.
В отношении ядерной зимы есть два неизвестных фактора – во-первых, насколько она будет длительной и холодной, а во-вторых, в какой мере ядерная зима означает вымирание человечества. В отношении первого фактора есть разные оценки – от крайне суровых (Моисеев, Саган) до относительно мягких концепций «ядерной осени». Я полагаю, что риск ядерной зимы преувеличивается, так как ни пожары в Кувейте, ни Вторая мировая война не привели к сколько-нибудь значительному снижению мировой температуры. Однако принцип предосторожности заставляет нас рассмотреть наихудший случай. 
Несмотря на распространенные представления, ни один из научных анализов ядерной зимы не означает полного вымирания человечества и, тем более, всей жизни на Земле. Это следует из того, что например, Финляндия имеет примерно десятилетний запас еды плюс топливо в виде лесов, печи и навыки вживания при зимних температурах. Чтобы действительно убить всех людей ядерная зима должна длиться более ста лет с антарктическими температурами. (Если считать, что ядерная зима будет единственным неблагоприятным фактором, что неверно.) Я не буду подробно пересказывать всю историю исследований и дискуссий о проблеме ядерной зимы, отмечу только, что, например, отчёт TTAPS (1990) предполагает падение температуры 22 градуса в средних широтах, если война произойдёт в июне в течение первых месяцев и на несколько градусов в течение 1-3 лет. 
Возможны следующие варианты ядерной зимы:
1) Падение температуры на один градус, не оказывающее значительного влияния на человеческую популяцию. Как после извержения вулкана Пинатубо в 1991 году.
2) «Ядерная осень» – несколько лет пониженных на 2-4 градуса температур, неурожаи, ураганы. 
3) «Год без лета» – интенсивные, но относительно короткие холода в течение года, гибель значительной части урожая, голод и обморожения в некоторых странах. Это уже происходило после крупных извержений вулканов в VI веке нашей эры, в 1783г, в 1815г.
4) «Десятилетняя ядерная зима» – падение температуры на всей земле на 10 лет на 30-40 градусов. Этот сценарий подразумевается моделями Моисеева-Сагана. Выпадение снега на большей части земли, за исключением некоторых экваториальных приморских территорий. Массовая гибель людей от голода, холода, а также оттого, что снег будет накапливаться и образовывать многометровые толщи, разрушающие строения и перекрывающий дороги. Гибель больше части населения Земли, однако миллионы людей выживут и сохранят ключевые технологии. Риски – продолжение войны за тёплые места, неудачные попытки согреть Землю с помощью новых ядерных взрывов и искусственных извержение вулканов, переход в неуправляемый нагрев ядерного лета. Однако даже если допустить этот сценарий, окажется, что мирового запаса рогатого скота (который замёрзнет на своих фермах и будет храниться в таких естественных «холодильниках») хватит на годы прокорма всего человечества, а Финляндия, например, имеет стратегический запас еды (зерна) на 10 лет. 
5) Новый ледниковый период. Получается из предыдущего сценария за счёт того, что отражающая способность Земли возрастает за счёт снега, и начинают нарастать новые ледяные шапки от полюсов и вниз, к экватору. Однако часть суши у экватора остаётся пригодной для жизни и сельского хозяйства. В результате цивилизации придётся радикально измениться. Трудно представить огромные переселения народов без войн. Много видов живых существ вымрет, но большая часть разнообразия биосферы уцелеет, хотя люди будут уничтожать её ещё более безжалостно в поисках хоть какой-либо пищи. 
6) Необратимое глобальное похолодание. Оно может быть следующей фазой ледникового периода, при развитии событий в наихудшем случае. На всей Земле на геологически длительное время устанавливается температурный режим, как в Антарктиде, океаны замерзают, суша покрывается толстым слоем льда. (Или как на Марсе – холодная сухая пустыня. Кстати, если все парниковые газы из атмосферы Земли исчезнут, то равновесная температура поверхности составит минус 23 С.) Только высокотехнологичная цивилизация, способная строить огромные сооружения подо льдом, может пережить такое бедствие, но такая цивилизация могла бы найти способ обратить вспять этот процесс. Жизнь уцелеет только около геотермальных источников на морском дне. Последний раз Земля вошла в это состояние примерно 600 млн. лет назад, то есть до выхода животных на сушу, и смогла выйти из него только благодаря накоплению СО2 в атмосфере (гипотеза Snowball Earth http://ru.wikipedia.org/wiki/Snowball_Earth). В то же время за последние 100 000 лет было четыре обычных оледенения.
Хотя варианты 5 и 6 относятся к самым маловероятным, они несут в себе наибольший риск. Эти варианты могли бы быть возможны при экстраординарно большом выбросе сажи и при наихудшем раскладе неизвестных нам природных закономерностей. 
Если бы некая сила задалась целью устроить ядерную зиму нарочно, то она может её организовать, взорвав водородные бомбы в каменноугольных шахтах. Это даст неизмеримо больший выброс сажи, чем атака на города. Если установить водородные бомбы с таймером на разные сроки, то можно поддерживать ядерную зиму неограниченно долго. Теоретически, таким образом можно достичь устойчивого состояния «белого холодного шарика», отражающего весь солнечный свет, с полным вымерзанием океанов, которое станет самоподдерживающимся состоянием. Менее жесткий вариант подразумевает начало нового ледникового периода за счёт того, что в течение нескольких лет снег летом не будет таять, и начнётся самоподдерживающийся рост ледников. Возможно, это уже бывало после «вулканических зим». 
С другой стороны, когда сажа осядет, Земля окрасится в чёрный свет, и её способность нагреваться в солнечных лучах резко возрастёт. Такое ядерное лето может принять необратимый характер (с учётом остальных факторов глобального потепления) с переходом в «венерианскую» фазу нагрева. Есть и другие факторы, которые могут привести к ядерному лету после или вместо ядерной зимы, например, выброс большого количества парниковых газов при взрывах. Ядерное лето гораздо опаснее ядерной зимы, так как человек легче переносит охлаждение, чем нагрев (то есть, если принять комнатную температуру за 20 градусов, то человек вполне переносит мороз на улице в минус 50, то есть на 70 градусов ниже, но сможет выдержать подъём температуры не более чем, на 30 градусов, то есть не больше 50 С на улице). Кроме того, системы обогрева работают индивидуально (лес + печка), а холодильники требуют наличия устойчивой централизованной инфраструктуры (производство холодильников + электроэнергия). Хранение продуктов питания при резком потеплении станет невозможно – они сгниют и сгорят. Поэтому, если у человечества будет выбор, то ему следует выбирать глобальную зиму, а не глобальное лето. 
Инициация извержения сверхвулкана с помощью ядерного оружия также приведёт к аналогу ядерной зимы – к вулканической зиме. Опасны попытки людей исправить ситуацию с помощью искусственной ядерной зимы или искусственного ядерного лета, которые могут только усугубить проблемы за счёт перехода климата в режим раскачки, по модели запаздывающего управления фон Неймана.
Обращу внимание на то, что точная вероятность и продолжительность ядерной зимы и её последствий невычислима по причинам, которые обсуждаются в главе «невычислимость». Это происходит, потому что мы по определению не можем поставить эксперимента, а также точно определить, насколько Моисеев и Саган были заинтересованы преувеличить опасность ядерной зимы, чтобы избежать войны. То есть хотели ли они создать само-несбывающееся пророчество. 
2.1.2. Полное радиоактивное заражение.
Следующий сценарий – глобальное радиоактивное заражение. Наиболее известный сценарий такого заражения – это применение кобальтовых бомб, то есть бомб с повышенным выходом радиоактивных веществ. Кобальтовые бомбы представляют собой водородные бомбы, окружённые оболочкой из кобальта-59, превращающегося в радиоактивный изотоп кобальт-60 . Проект бомбы, способной заражать целые континенты, предложил Лео Сцилард в 1950 году. Однако 1 грамм кобальта имеет радиоактивность порядка 50 кюри. Если распылить 1 грамм на 1 кв.км, то этого недостаточно для гарантированной смерти всех людей, хотя и потребует эвакуации с этой территории по современным нормам безопасности. Кобальт имеет период полураспада 5,26 лет, поэтому загрязнение, создаваемой им, будет длительным, и его будет трудно пересидеть в бункере. Тем не менее, даже такое заражение потребует 500 тонн кобальта на всю Землю. Косвенно это количество можно оценить в 100 бомб типа «Кузькиной матери» - Царь-бомбы в 50 мегатонн, взорванной в 1961 году. Если бы на этой бомбе была бы урановая оболочка, она дала бы дополнительные 50 мегатонн, и мощность взрыва составила бы 100 мегатонн, но оболочка была заменена на свинцовую. Масса прореагировавшего урана, которая дала бы такой выход энергии, который составляет 50 мегатонн, примерно равна 5 тоннам. Можно предположить, что если бы эта бомба имела кобальтовую оболочку, она дала бы примерно 5 тонн радиоактивного кобальта. По другим оценкам, проводившимся в США после выступления Лео Сцилларда о возможности истребления жизни на Земле с помощью кобальтовой бомбы, выяснилось, что это действительно возможно, но устройство должно быть в 2,5 раза тяжелее линкора «Миссури» . Водоизмещение «Миссури» – 45000 тонн. Возможно, что это исследование проводилось до создания водородной бомбы. Итак, мы получаем две оценки веса этого устройства – 2700 тонн и 110 000 тонн. Разница между ними не так принципиальна с точки зрения вопроса, возможно ли такое устройство и сколько оно будет стоить. Поскольку вес обычных энергетических реакторов составляет несколько тысяч тонн, то реально сделать устройство, весящее и 100 000 тонн, как 20 реакторов. Если один реактор стоит около миллиарда долларов по современным ценам, то такое устройство будет стоить порядка 20 миллиардов. Эта сумма меньше военного бюджета США в 20 раз. Другой ориентир: вес реактора ИТЭР – 30 000 тонн, цена 12 миллиардов долларов. Итак, создание атомной бомбы судного дня технически реально для крупного государства, обладающего ядерной программой, и потребует нескольких лет работы.
Не менее опасен печально знаменитый изотоп полоний-210. Он является гораздо более мощным источником, чем кобальт, так как имеет меньший период полураспада (в 15 раз примерно). И он обладает способностью накапливаться в организме, поражая изнутри, что повышает его эффективность ещё примерно в 10 раз. Смертельная его доза – около 0,2 мкг . Это означает, что полное смертельное заражение Земной поверхности потребует только сто тонн (или сотен килограмм в худшем случае – если учесть его способность накапливаться в организмах, а также повторное отравление за счёт высокой концентрации в среде – то есть сколько выводится, столько и вводится) этого опасного вещества. Неизвестно, сколько водородных бомб нужно взорвать, чтобы наработать такое количество вещества. (В обычных атомных бомбах выход радиоактивных элементов измеряется килограммами, но в специальных водородных бомбах, окружённых толстыми оболочками, позволяющих уловить все нейтроны, он может достичь, по моим очень неточным прикидкам, тонны. Однако тяжёлую эффективную бомбу невозможно поднять высоко воздух, где гарантировано качественное распыление, поэтому реальный выход от бомбы можно снижать смело до 100 кг. Значит надо или облегчать бомбу, или смириться с потерей большей части радиоактивного выхода в грунте на месте взрыва. Это означает, что для производства такого эффекта нужно взорвать 1000 полониевых (то есть с оболочкой из висмута-209) бомб мегатонного класса.)
При этом известно, что в объёме мирового океана растворено постоянно около 180 кг полония, образующегося из распада урана – однако это количество равномерно распределено по объёму толщи воды и не представляет угрозы для живых существ.
Требуются более точные подсчёты, учитывающие скорости осаждения радиоактивного вещества из атмосферы, вымывания его в океан, распада, связывания и сродства с элементами в человеческом теле, а также способности людей мутировать и приспосабливаться к радиации, чтобы определить минимальное количество какого изотопа приведёт к вымиранию всех людей на Земле – или к длительной непригодности всей суши для сельского хозяйства и невозможности в связи с этим вернуться в доиндустриальную фазу развития или неизбежности деградации на ней. (Что может быть на два-три порядка меньше по уровню радиации.)
Для того чтобы радиоактивное вещество распространилось достаточно далеко, бомба должна взрываться на высоте 10-20 км, а чтобы бомба была достаточно мощной, она должна быть тяжёлой. В конечном счёте, такая машина смерти может представлять собой стационарное устройством весом в тысячи тонн, с выходом взрыва в сотни мегатонн, в ходе которого образуются тонны опасного изотопа, выбрасываемые силой взрыва высоко в воздух. 
Кроме того, короткоживущий изотоп можно пересидеть в бункере. Теоретически возможно создание автономных бункеров со сроком самообеспечения в десятки лет. Гарантированное вымирание можно получить, смешав долгоживущие и короткоживущие изотопы. Короткоживущие уничтожат большую часть биосферы, а долгоживущие сделают землю непригодной для жизни теми, кто пересидит заражение в бункере. (Подробнее о бункерах см. в соответствующей главе.)
2.1.3. Сверхбомба.
После испытания «Царь-бомбы» в 1961 году на Новой Земле с выходом в 58 мегатонн, были разработки более мощных бомб с выходом в 200 и даже 1000 мегатонн, которые предполагалось транспортировать на судах к американским берегам и вызывать с их помощью цунами. Это значит, что, вероятно, появились технические возможности неограниченно наращивать взрывную силу бомбы, добавляя, возможно, слои в конструкцию «слойки». Наилучший массовый коэффициент бомб составляет порядка 6 мегатонн на тонну веса бомбы. 
Важно также отметить, что Царь-бомба была испытана всего через 12 лет после взрыва первой атомной бомбы. Это говорит о том, что и другим державам может потребоваться относительно небольшой срок для перехода к огромным бомбам. Если сопоставить массовый коэффициент бомбы с массой ядерных реакторов порядка нескольких тысяч тонн, то становится понятно, что верхний предел сверхбомбы, которую сейчас можно сделать составляет около ста гигатонн. Этого недостаточно для уничтожения всех людей силой взрыва, поскольку при падении астероидов выделялась энергия в тысячи раз больше. (См. главу о воздействии гигантских взрывов.) Взрыв сверхбомбы в каменноугольном пласте вызовет длительную ядерную зиму, сочетающуюся с сильным радиоактивным заражением. Несколько десятков сверхбомб, размещённых в разных местах Земли, могут покрыть своим поражающим ударом всю территорию планеты.
Есть также гипотетические предположения (Бор), что взрыв мощной водородной бомбы в толще океана может вызвать горение дейтерия в морской воде. Вероятность этого невелика, но такие опыты, насколько я знаю, не проводились. 
2.1.4. Накопление антиматерии. 
Станислав Лем как-то сказал, что он больше боится антиматерии, чем Интернета. Максимальная массовая эффективность ядерного заряда равна 6 мегатонн на тонну веса, что соответствует примерно 0,6 кг антиматерии. Но для антиматерии тоже понадобятся специальные ловушки, которые должны много весить. Кроме того, очень трудно обезопасить антиматерию от случайного взрыва, тогда как обезопасить атомную бомбу легко. Наконец, нужно масса энергии на наработку антиматерии. В силу этого я полагаю, что нет смысла делать бомбы огромной мощности из антиматерии – да и мощности имеющихся атомных боеприпасов достаточно. Также нет смысла делать заряды из антиматерии малой мощности, так как с этими задачами справятся бомбы объёмного взрыва. Поэтому я полагаю маловероятным накопление антиматерии в военных целях. Только если будут сделаны некие новые принципиальные физические открытия, антиматерия будет представлять опасность. Антиматерия будет давать выход радиоактивных элементов за счёт столкновения атомов разных атомных масс. Опасно применение антиматерии в глубоком космосе, где можно собрать огромную массу антиматерии в виде некого метеорита (пользуясь наличием вакуума) и направить её незаметно на Землю. 
2.1.5. Дешёвая бомба.
Есть также опасность принципиального удешевления ядерного оружия, если удастся запускать самоподдерживающуюся термоядерную реакцию без инициирующего ядерного заряда – с помощью химической имплозии (цилиндрической), лазерного поджигания, магнитного сжатия, электрического разряда и небольших порций антиматерии, применённых в некой комбинации. Другой фактор – удешевление производства при использовании наработок нанотехнологий – то есть высокоточное и дешёвое производство с помощью микророботов. Третий фактор – обнаружение новых способов выделения урана из морской воды и его обогащения. 
Есть также риск, что мы существенно недооцениваем простоту и дешевизну ядерного оружия, а, следовательно, и его количество в мире. Любые открытия в области холодного ядерного синтеза, управляемого ядерного синтеза на токамаках, доставки гелия-3 из космоса, превращения элементов – упростят и удешевят производство ядерного оружия. 
2.1.6. Равномерная атака на радиационные объекты.
Ещё одним способом устроить конец света с помощью ядерного оружия является атака крылатыми ракетами (баллистические не имеют достаточной точности) всех ядерных реакторов и особенно хранилищ отработанного ядерного топлива на планете. Хотя вряд ли удастся возбудить цепную реакцию в нём, в воздух выделятся огромные количества радиации. «По оценке МАГАТЭ, к 2006 году из энергетических реакторов (а их в мире свыше 400) выгружено около 260 тыс. тонн ОЯТ, содержащих более 150 млрд. Кюри радиоактивности» и «К 2006 году страны мира накопили около 260 тыс. тонн ОЯТ, а к 2020 году его количество составит не менее 600 тыс. тонн» . То есть в XXI веке количество радиоактивных отходов будет расти как линейно, за счёт накопления, так и за счёт введения в строй новых реакторов.
Это даёт, при равномерном распылении, 150 млрд кюри – 300 кюри на квадратный километр земной поверхности. Это далеко за пределами норм отселения и запрета на сельское хозяйство по чернобыльской практике. При грубом пересчёте (эмпирическая формула – 1 кюри на квадратный метр даёт 10 рентген в час) это даёт активность – 3 мили рентгена в час. Этого недостаточно для мгновенной смертности, так как составляет только примерно 2 рентгена в месяц, а максимально допустимая безопасная доза – 25 рентген – наберётся только за год. Однако такая местность надолго (в ОЯТ много долгоживущих элементов, в том числе плутония) непригодна для сельского хозяйства, поскольку в растительности и животных эти вещества накапливаются и при внутреннем потреблении дают в 10 раз более сильный удар по организму. Иначе говоря, выжившие люди никогда не смогут заниматься сельским хозяйством и будут обречены на постепенную деградацию от болезней. Всё же гарантированного вымирания здесь не б будет, так как люди - существа очень приспособляемые и живучие – если не вмешаются ещё какие-нибудь факторы.
Крайне важно учитывать степень сродства радиоактивных веществ и человеческого организма. Например, после ядерных аварий принимают именно йодные таблетки, так как именно йод интенсивно улавливается и накапливается щитовидной железой. 
2.1.7. Взрыв мощных бомб в космосе.
Если земная технология шагнёт в космос, мы рискуем подвергнуться атаке от своих собственных колоний. В конце концов, все колонии в истории Земли рано или поздно восставали против своих метрополий. (США выросли из английской колонии). Риск состоит во взрыве нескольких десятков гигатонных бомб на низких орбитах, которые просто прожарят Землю своим излучением. Однако в случае такой атаки всё равно будут выжившие: шахтёры, подводники, спелеологи. (Хотя могут выжить только одни мужчины, и род людей на этом закончится, так как в природе мало подводников и шахтёров-женщин. А спелеологи бывают.) По эффекту воздействия получится искусственный гамма-всплеск.
2.1.8. Интеграция поражающих факторов ядерного оружия. 
Умеренная по масштабам ядерная зима, сопровождающая умеренным радиоактивным поражением, может дать «синергетический» эффект, который превосходит по силе даже самую мощную ядерную зиму, взятую в отдельности. Например, в случае «чистой» ядерной зимы люди смогут многие годы питаться скотом, который замёрз у себя в стойлах и сохранился. В случае радиоактивного заражения такой возможности не будет. Всемирная взрывная волна выбьет все стёкла и сделает более сложной защиту от радиации и холода. Топить радиоактивным лесом будет опасно. Эти факторы будут усилены разрушением наиболее ценных объектов за счёт прямого действия поражающих факторов ядерного оружия. 
2.1.9. Стоимость.
Если поделить стоимость всей ядерной программы США на всё количество произведённых бомб, то средняя цена заряда будет от 1 до 40 миллионов долларов – смотря как считать. См. статью А. Анисимова «Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США». Если для полного радиационного заражения Земли нужно 1000 бомб с оболочкой из кобальта, то такой проект будет стоить порядка 40 млрд. долларов. Это – десятая доля бюджета Пентагона или цена крупной нефтяной корпорации. Если говорить точнее – это одна тысячная от годового мирового ВВП. По мере роста мирового ВВП и удешевления производства эта доля снижается, то есть всё дешевле создать такое оружие.
2.1.10. Вероятность данного события. 
Более детально вопросы вычисления и учёта вероятностей различных глобальных рисков мы рассмотрим в отдельной главе. В отношении рисков вымирания в результате применения ядерного оружия надо сложить вероятность двух вариантов:
• классическая ядерная война, приводящая к вымиранию.
• неклассическое применение ядерного оружия как машины судного дня. 
Первый вариант определяется произведением вероятности двух последовательных событий: вероятности полномасштабной ядерной войны между сверхдержавами и вероятности того, что эта война приведёт к вымиранию человечества. 
Вряд ли одна из держав нападёт на другую нарочно, потому что это не даст ни политической, ни экономической, ни военной выгоды, но создаст риск ответного удара, распространения оружия массового поражения, утерянного в поверженной державе, а также риск войны с другими державами, обладающими ядерным оружием. Однако ядерная война между сверхдержавами может начаться случайно, а точнее, в результате сложной цепочки событий в духе детерминированного хаоса. Например, в ходе Карибского кризиса американцы полагали, что могут напасть на Кубу, так как там нет ядерного оружия русских. Советские военные имели там тактическое ядерное оружие, которое могли применять по своему усмотрению в зависимости от обстоятельств, но полагали, что американцы на них не нападут. То есть каждая сторона действовала правильно в рамках своих представлений и при этом полагала неправильными и невозможными действия другой стороны. Другой пример – по утверждениям в мемуарах в день смерти Брежнева на всякий случай весь подводный ядерный флот перевели в состояние полной боевой готовности. Если бы американцы ответили на это тем же, то могла бы начаться гонка, кто ударит первым. 
Ядерные силы находятся под действием следующей антиномии:
А) Либо ядерные силы ни при каких обстоятельствах не могут совершить непреднамеренный запуск – то есть запуск, решение о котором позднее было бы признано неверным (если останется, кому признавать) – а это включает в себя опознание цели, информирование президента, принятие решения, доведение его до ракет и сам запуск и наведение ракет. Обратите внимание на различие между определениями «непреднамеренного запуска» и «случайного».
Б) Либо они должна суметь нанести ответно-встречный удар в условиях интенсивного информационного противодействия вероятного противника, а значит, находится в состоянии высокой боеготовности и автономности в принятия решений. От того, как решается это противоречие, зависит то, находятся ли ключи запуска на борт подводной лодки или высылаются на борт по радио из центра в случае чрезвычайной ситуации. Хотя то, как именно организовано управление СЯС в ведущих ядерных державах является величайшей военной тайной, исторически известно, что неоднократно выбирались варианты, когда ключ запуска был на местах, что соответствует пункту Б).
Можно придумать множество сценариев непреднамеренного начала ядерной войны. Например, самолёт с президентом внезапно сбивают. Поскольку система управления, а значит и связь с главнокомандующим является наиболее существенной частью системы обороны, то любые проблемы на этой линии будут восприниматься как начало атаки – именно поэтому после смерти Брежнева была высокая боеготовность. 
Поскольку ядерной войны ни разу не было, это оказало разлагающее влияние как на общественные ожидания, так и, возможно, на нормы риска в военной сфере. Кроме того, растёт число стран, способных создать и создающих значительные ядерные арсеналы. Более того, террористическая ядерная атака тоже может стать спусковым крючком к войне, а её может организовать и малая страна. Всё это может нас подтолкнуть к идее, что риск ядерной войны постоянно растёт. Если мы его оценим в 0,5 процента в год (или в 50 процентов в 100 лет), то я думаю, это будет довольно неплохой оценкой. Однако сам этот риск может не «прожить» ста лет. Либо его сделают неактуальными ещё более мощные и опасные технологии, либо наоборот, человечество объединится и откажется от запасов ядерного оружия.
С другой стороны, обычная непреднамеренная ядерная война не приведёт наверняка к вымиранию человечества. Если её масштабы будут ограничены несколькими странами, то это будет ещё одно событие масштаба Второй Мировой войны. И тогда она не прервёт хода прогресса и существенно не изменит хода мировой истории.
Однако ядерная война может запустить цепочку событий, которая резко снизит уровень всего человечества, переведёт его на постапокалиптическую стадию, в котором оно будет уязвимо ко многим другим факторам вымирания. Например, война может стать перманентной, так как из чувства мести остатки воевавших стран будут производить и выпускать всё новые порции оружия, особенно, биологического, или строить и взрывать машины судного дня. При этом они будут подвергаться воздействию ядерной зимы и радиоактивных осадков неизвестной силы. Сумма всех этих факторов может поставить человечество на грань вымирания, а переход этой грани станет вопросом случая. 
Ход событий в постапокалиптическом мире будет зависеть не только от последствий ядерной войны, но и от того, какие технологии там уцелеют и смогут развиваться и применяться. Это выходит за рассмотрение данной главы, поэтому мы можем сказать, что в наихудшем случае из ядерной войны получится постапокалиптический мир, способный к дальнейшей деградации. Шансы того, что цивилизация понизит свой уровень в результате ядерной войны, применим как 1 из 2.
Отсюда мы получаем, что наилучшее ожидание перехода в постапокалиптический мир в результате ядерной войны в XXI веке – 0,5х0,5 = 0.25 в том случае, если никакие другие процессы этому не препятствуют. Поскольку, однако, это событие должно быть «перекрыто», то есть станет невозможным из-за более сильных процессов в течении максимум 30 лет (об этом тоже будет отдельная глава), мы можем делить остаток на 3, то есть получим 8 процентов вероятности того, что в XXI веке мы попадём в постядерный мир с пониженным уровнем развития цивилизации. Вероятность того, что мы вымрем из этого постядерного мира ещё в несколько раз меньше и зависит от развития других факторов.
Шансы на то, что особенно сильная ядерная война непосредственно приведёт человеческому вымиранию, без фазы угасания в постапокалиптическом мире, я оценивая как ещё меньшие, поскольку для этого нужна исключительно сильная и нацеленная на уничтожение всех людей ядерная война плюс стечение многих неблагоприятных обстоятельств. Округляя до порядка, получим риск вымирания в результате последствий ядерной войны порядка 1%.
Теперь нам надо учесть вероятности нетрадиционного применения ядерного оружия. В настоящий момент ничего неизвестно о разработках машин судного дня на основе ядерного оружия (хотя отчасти сами ядерные силы можно считать им). В будущем могут появиться гораздо более дешёвые способы создать машину судного дня на основе биологического оружия. Поэтому думаю, что не будет ошибкой заявить, что шансы создания и применения машины судного дня на основе ядерного оружия по крайней мере в 10 раз меньше шансов самой ядерной войны.
Однако шансы вымирания всего человечества значительно выше от него, чем от ядерной войны, поскольку далеко не каждая ядерная война приводит к вымиранию! Фактически, если оружие судного дня применено, весь вопрос в том, сработает ли оно так, как задумывалось. (Если бы у Гитлера в бункере такое оружие было бы, он, вероятно, его применил – как харакири для всей страны.) Вероятность вымирания человечества в результате применения оружия судного дня в XXI веке я оценивая в величину тоже порядка 1%.
Возможна определённая интеграция боевого ядерного оружия и машины судного дня. В романе Шюта «На берегу» значительное применения тысяч кобальтовых бомб многими государствами приводит не к заражению отдельных стран, как это предполагалось, а к полному заражению всего мира. После открытия возможности ядерной зимы стало понятно, что современные ядерные ракеты могут быть оружием судного дня, если направить их на тысячи городов по всему свету. Точно также их можно направить на склады отработанного ядерного топлива, атомные станции, спящие вулканы и залежи каменного угля. То есть одно и тоже оружие может быть или не быть машиной судного дня в зависимости от данных команд. 
2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени.
Считается, что в настоящий момент погодовая вероятность катастрофической ядерной войны уменьшилась, так как ядерные арсеналы СССР и США значительно сократились. Однако фактически вероятность применения ядерного оружия растёт, поскольку всё больше стран открыто заявляют о разработке ЯО (около 10), и, кроме того, другие страны, помимо РФ и США, обретают технические возможности и желание обзаводится арсеналом в тысячи зарядов (я имею в виду Китай, Пакистан и Индию). Затем, растёт число стран, развивающих мирную ядерную энергетику двойного назначения, то есть могущих в течение месяцев или нескольких лет приступить к производству ядерного оружия. Растут и шансы попадания расщёпляющих материалов в руки террористов. 
Этот рост вероятности относительно линеен и довольно медлен, если только не будут изобретены способы принципиального удешевления производства ядерного оружия – молекулярное производство и методы термоядерного взрыва без уранового запала. Появление и – особенно – распространение знаний о таких методах резко увеличит количество ядерных боеприпасов в мире. Мы можем быть уверены сейчас, что ещё нет молекулярного нанотехнологического производства, но не можем быть уверены, что нет секретных способов прямой инициации термоядерного взрыва. Разумеется, если бы они были, сам факт их существования следовало бы держать в секрете. (Про атомную бомбу кто-то из американцев сказал: главная тайна ядерной бомбы в том, что её можно сделать.) 
Распространение новых технологий, например ИИ и нано, может создать новые способы уничтожения ядерного оружия и предотвращения его применения. Однако если уж такое оружие будет применено, они не дают особой защиты от его поражающих факторов. В силу этого, мы должны сказать, что риск применения ядерного оружия пребудет с нами всегда, если только не будет вытеснено превосходящими по силе факторами.
Что касается оружия судного дня на основании ядерного оружия – вроде гигатонной кобальтовой бомбы, – то в настоящие момент мы могли бы считать риск его применения равной нулю, так как ничего неизвестно о разработке такого рода оружия. С другой стороны, если бы такая разработка производилась, то она была бы большим секретом, так как страна, открыто разрабатывающая оружие судного дня, немедленно подверглась бы нападению. Я полагаю, что эта вероятность неравна нулю и тоже растёт, но очень монотонно и медленно. В случае начала новой мировой войны она может существенно возрасти. Иначе говоря, война (или угроза такой войны), которая ведёт к полному завоеванию ядерной державы, с высокой вероятностью приведёт к применению или угрозе применения оружия судного дня как последнего аргумента. Опять же разработка новых ядерных технологий, удешевляющих производство, увеличивает и шансы создания ядерного оружия судного дня. Возможно, лет через десять оно будет доступно так называемым странам-изгоям.
2.1.12. Стратегия сдерживания под вопросом.
Возможно, ядерное сдерживание как фактор предотвращения войны переоценивается. То, что является выигрышной стратегией в краткосрочной перспективе, может быть проигрышной в долгосрочной. То есть войны сверхдержав стали реже, но масштаб последствий от таких войн неизмеримо вырос. (Это доказано на исследования наводнений – в результате строительства плотин наводнения становятся значительно реже, но если уж плотину прорывает, то ущерб катастрофический (Юдковски 2007). В результате интеграл ущерба по времени не только не уменьшается, но даже и растёт при строительстве плотин.) И если ядерное оружие будет не у нескольких стран, а у всех без исключения, то война всех против всех не оставит ни одного уцелевшего уголка планеты. Механизм распространения конфликта может быть такой: если есть страны A,B,C,D и происходит ядерная война между A и B, то в выигрыше остаются страны С и D. Поэтому страны A и B могут быть заинтересованы, чтобы С и D тоже вступили в войну, и могут атаковать их частью сил. С и D, понимая это, могу ударить первыми. Это как с экономическими кризисами в современном взаимосвязанном мире – если падает биржа в одной стране, то падают биржи и во всех остальных странах.
Наконец, взаимное гарантированное уничтожение хорошо работает, когда есть только две сверхдержавы (по количеству ядерных зарядов). Но уже сейчас, а возможно и ранее, Китай стал третей, и возможно появление новых ядерных сверхдержав. Дж. Лесли отмечает, что уменьшение количества ядерных бомб в арсеналах не ведёт к снижению вероятности ядерной войны, поскольку требует, чтобы использовалась стратегия ответно-встречного удара, когда ракеты запускаются до того, как вражеские удары поразили цели, потому что после этого уцелевших 10% будет недостаточно для полноценного ответного удара. Стратегия ответно-встречного удара более уязвима к ложным срабатываниям, так как решение о ядерном ударе принимается только по косвенным признакам, которые могут содержать ошибки, и в условиях очень короткого временного промежутка, который исключает какое-либо размышление о природе поступивших сигналов. Фактически, это решение зависит не от людей, а от написанных ими заранее алгоритмов и инструкций, что размывает ответственность. Кроме того, ответно-встречный удар подразумевает постоянно высокий уровень боеготовности ракет, что, в частности, требует, чтобы ключи запуска находились не в центре, а у непосредственных исполнителей.
Повышение точности ракет также не гарантирует стабильность, так как даёт возможность первого обезоруживающего удара, и соответственно, может подтолкнуть более слабую сторону ударить первой до того, как она окончательно утратила преимущество. То же самое верно и для создания оборонительного щита вроде СОИ. Все приведённые стратегии ядерного противостояния не привязаны исключительно к ядерному оружию, но будут верны и при возникновении любых более мощных видов оружия, в том числе связанных с ИИ и нанотехнологиями. Подробнее эти вопросы можно изучить по книге «Снижение боеготовности ядерных сил России и США – путь к уменьшению ядерной угрозы» . 
2.1.13. Выводы по ядерной войне. 
Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями на тему, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку мы наблюдаем событие (отсутствие войны) не в случайный момент времени, а в относительно поздний по отношению к случайному (случайным для меня был момент моего рождения в 70-е годы). Переоценка связана с распространёнными представлениями о ядерной зиме и радиоактивном заражении как неизбежных причинах вымирания всего человечества после ядерной войны, а также в ответной реакции отвержения этих оценок, ведущих к занижению риска. Мы должны сказать, что хотя «обычная» ядерная зима и заражение, скорее всего, не приведут к полному вымиранию человечества сами по себе, но есть способы применить ядерное оружие особым образом, чтобы создать машину судного дня, которая истребит всех людей с высокой вероятностью. 
2.2. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ. 
Химическое оружие обычно не рассматривается в качестве оружия конца света. Это связано с тем, что для глобального заражения атмосферы требуются очень большие количества ядовитого вещества, а также с тем, что это вещество или химически неустойчиво, или легко вымывается из атмосферы. Глобальное химическое заражение может произойти из-за внезапной резкой дегазации земных недр, например, вскипания газовых гидратов под морским дном. Однако основной вариант – извержение сверхвулкана с большим выбросом газов. Сам процесс накопления углекислого газа в земной атмосфере за счёт сжигания ископаемого топлива тоже может считаться частью «дегазации недр». Другие возможные причины – крупная авария на химическом производстве, результат деятельности генетически модифицированных организмов в биосфере, и, наконец, сознательное применение химического оружия. В научной фантастике рассматривался вариант выпадения ядовитых химических веществ из ядра кометы. Основным фактором, превращающим химическое оружие в глобальную угрозу, является единство земной атмосферы. Поэтому в этой главе мы рассмотрим и ряд других факторов, действие которых распространяется через атмосферу.
В связи с этим полезно посчитать, какие количества и каких газов могут полностью отравить земную атмосферу. При этом понятно, что газам и ядам гораздо проще противостоять с помощью противогазов и убежищ, чем радиации и биоагентам. Для равномерного заражения всей Земли сильнейшим нервнопаралитическим газом VX потребовалось бы не менее 100 000 тонн этого реагента (если исходить из оценки одна смертельная доза на 1кв. метр, то есть 200 мкг). При этом в Первой мировой войне всего было использовано 120 000 тонн разных ОВ. Примерно столько же (94 000 тонн) было использовано гербицидов в войне во Вьетнаме. Современные мировые запасы отравляющих веществ оцениваются в 80 000 тонн, хотя точных данных по всем странам нет. При этом понятно, что химическое оружие не было приоритетным направлением, и его произвели гораздо меньше, чем могли бы. Понятно также, что вопрос равномерного распределения (то есть доставки) далеко не прост. Газ VX держится в холодном климате очень долго, но при жаре разлагается за несколько дней. Но теоретически получается возможным произвести и распространить миллионы тонн такого газа или подобного, и создать глобальную угрозу. (Особенно упростится эта задача с развитием генно-модифицированных организмов.)
Летальная доза токсина ботулизма – около 0,1 мкг. (Что означает, что чтобы убить каждого человека на Земле хватило бы нескольких сот грамм), но он очень неустойчив во внешней среде.
Летальная доза диоксина – около 1 мкг (есть разные оценки), однако он может десятки лет сохраняться в среде и накапливаться в организмах. Утечка примерно 25 кг диоксина в Севесо в Италии вызвала заражение 17 кв. км. Из этого можно прикинуть, что на полное заражение земли потребуется 500 000 – 1 000 000 тонн диоксина. Это равно объёму нескольких крупных нефтеналивных танкеров. Вероятно, промышленно развитая держава могла бы наработать такой объём за несколько лет. 
Возможны также сценарии постепенного накопления в природной среде веществ, опасность которых в начале неочевидна. Так было с фреонами, разрушающими озоновый слой, и диоксинами. Возможно также накопление многих химикатов, которые по отдельности не дают большой летальности, но вкупе создают очень тяжёлый фон. Это обычно называется «неблагоприятная экологическая обстановка».
Другим вариантом является полное изменение химического состава атмосферы или утрата её свойств пригодности для дыхания. Для этого нужен некий мощный источник химических веществ. Им может быть земной вулканизм, о чём речь пойдёт далее. Другие кандидаты: газовые гидраты на дне океана – отравление метаном, водяной пар, если неким образом всю воду испарить (возможно при необратимом глобальном потеплении.)
Функциональная структура химической катастрофы состоит в отравление воздуха ядом или утрата атмосферой свойств способности поддерживать жизнь: то есть питать её кислородом, защищать от радиации, поддерживать нужный температурный режим. Химическая катастрофа угрожает земной биосфере даже больше, чем человеку, который может надеть противогаз, но без биосферы человек жить пока не может. Поскольку такая катастрофа носит относительно пассивный характер, то от неё относительно просто защитится в бункерах. Маловероятные варианты:
• Отравление диоксидом углерода сверх того предела, при котором человек может дышать без скафандра (маловероятно, так как нет такого количества полезных ископаемых – только в случае некой природной катастрофы). Однако большое количество CO2 может вырваться и из вулканов. Например, Венера окружена атмосферой из CO2 в сто раз более толстой, чем Земля, и, вероятно, большая часть этого вещества выделилась из недр, и по некоторым предположениям, относительно недавно. С другой стороны, на Венере нет углеродного цикла, как на Земле.
• Есть также предположение, что в результате восстановления оксида железа в недрах Земли может формироваться значительное количество небиогенного кислорода. И что через 600 миллионов лет он полностью отравит атмосферу . Ухудшить этот сценарий может такая ситуация, если где-то под поверхностью уже скопились большие количества этого или другого газа, и затем они вырываются на поверхность. Вырывающие на поверхность газы будут не только отравлять атмосферу. Они будут раскалены до тысячи градусов, так как везде в недрах горячо. И если произойдет массивный выброс газов (или воды), то он не только отравит атмосферу, но и стерилизует поверхность своим жаром. (Недавно была публикация о том, что глубоко под Землёй обнаружили «океаны воды», но на самом деле там речь идёт только о повышенной – 0,1% – концентрации воды в породах .)
• Катастрофическое выделение метана из газовых гидратов в тундре и на морском дне, что не только усилит парниковые свойства атмосферы, но и существенно отравит её .
• Другой вариант – выделение огромных количеств водорода из земных недр (есть предположения, что в центре Земли его много) – См. «Экологические аспекты дегазации Земли» . Это водород разрушает озоновый слой. Также возможно выделение огромных количеств нефти, если верна теория об абиогенном происхождении нефти и огромные количества углеводородов накопились глубоко в Земле. А бурение всё более глубоких скважин продолжается. 
• Исчерпание кислорода в атмосфере в результате некого процесса, например, при окислении выделившегося из недр водорода. (Но сжигания топлива в течение тысяч лет недостаточно для этого.) Больше подходит внезапное выделение и сгорание большого количества горючего вещества. Или исчерпание кислорода в результате действие генетически модифицированных организмов, вышедших из под контроля, например, чего-то вроде азотофиксирующих бактерий. Наконец, в результате прекращения фотосинтеза при одновременно продолжении сжигания минерального топлива. «Подсчитано, что весь кислород земной атмосферы (1200 триллионов тонн) зеленые растения производят по геологическим меркам почти мгновенно - за 3700 лет! Но если земная растительность погибнет - свободный кислород очень быстро исчезнет: он снова соединится с органическим веществом, войдет в состав углекислоты, а также окислит железо в горных породах» . Мы имеем примерно миллион миллиардов тонн кислорода в атмосфере, плюс некоторое количество, растворенное в воде. Количество ископаемого топлива, которое мы окислили за всю историю или собираемся окислить, измеряется тысячами миллиардов тонн, то есть гораздо меньше. Но если мы подорвём способности биосферы к регенерации, а затем утратим технологии, то медленное уменьшение уровня кислорода будет глобальной катастрофой. По некоторым данным крупнейшее пермское вымирание было связано с резким падением уровня кислорода в воздухе по неизвестной причине (Дж. Лесли).
• Падение кометы с большим количеством ядовитых газов.
• Катализ окисления азота неким процессом, в результате чего весь кислород атмосферы сгорает, а по Земле проходит огненный вал. (Возможно, этого немного боялись при взрывах первых водородных бомб – что удастся запустить самоподдерживающийся процесс горения азота в земной атмосфере.)
• «Чёрный прилив» - отравление мирового океана разлитием большого количества нефти. Непосредственно не может убить людей, но может критически подорвать цепочки питания в биосфере и нарушить производство кислорода и поглощение углекислого газа (что ведёт к потеплению) и, в конечном счёте, перевести человечество в постапокалиптическую стадию. Возможны и другие варианты отравления мирового океана.
• Срыв атмосферы Земли. Что могло бы это вызвать – сильнейший взрыв, придающий большей части атмосферы вторую космическую скорость, солнечная вспышка или внезапное нагревание. 
• Целенаправленное разрушение озонового слоя. Есть предположение, что можно создать озонное оружие, которое приведёт к очень эффективному каталитическому истреблению озонового слоя. Тем не менее, даже если поток солнечного ультрафиолета будет очень силён и опасен для людей, они смогут от него защититься с помощью зонтиков, плёнок, бункеров, скафандров и т. д. Тем не менее, на всю биосферу этого не хватит. Озоновый слой может быть разрушен и гамма-всплеском. «Троекратное ослабление озоновой защиты на несколько лет, предсказываемое расчётами, способно привести к истреблению большей части приповерхностного планктона в океанах, являющегося основой всей огромной пищевой цепи обитателей моря» . Особенно опасно, если ослабление озонового слоя совпадёт с ослаблением магнитного поля и сильной вспышкой на Солнце. Истощение озонового слоя принадлежит к числу процессов, которые цивилизация может запустить сейчас, а «вкусить плоды», возможно, придётся через десятки и сотни лет уже на менее способной к самозащите постапокалиптической стадии.
• Прокаливание атмосферы. Здесь я имею в виду не глобальное потепление, как комплексное постепенное явления, а кратковременное нагревание атмосферы до высоких температур в результате неких процессов. А.Портнов в статье «Как погибла жизнь на Марсе» предполагает, что магнитные красные пески (маггемит) на Марсе образовались в ходе бомбардировки планеты осколками её крупного спутника, что привело к нагреву до 800-1000 градусов, при котором происходит формирование таких минералов. Аналогичные отложения им обнаружены в Якутии, где 35 млн. лет назад упал крупный астероид диаметром около 10 км и оставил Попигайский кратер (а также, возможно, вызвал очередное крупное вымирание живых существ). Возможно, что при неких высокоэнергетичских событиях могут образовываться огромные плотные высокотемпературные облака, которые распространяются по поверхности на тысячи километров. Примером их могут быть пирокластические облака при извержении современных вулканов, которые двигаются по поверхности земли или моря с большой скоростью и на значительные расстояния и имеют внутри себя температуру порядка 1000 градусов. Поскольку такие облака непрозрачные, они медленно охлаждаются излучением. Другие возможные причины прокаливания – облучение (например, обломками астероида, выброшенными высоко в стратосферу и огненными шаром от взрыва) или очень тяжелый горячий газ (достаточно тяжёлый, чтобы не всплывать в воздухе – тяжелые углеводороды?)
• Автокаталитическая реакция в духе льда-9 из романа К. Воннегута «Колыбель для кошки». Пока нет никаких оснований думать, что такая реакция возможна. 
Моя субъективная оценка вероятности глобального химического заражения – порядка 0,1% на весь XXI век. Эта вероятность сейчас особенно мала, так как нет таких технологий, и она будет убывать, когда достаточно разовьются средства молекулярного нанотехнологического производства, которые смогут быстро очистить атмосферу или хотя бы защитить людей от заражения (если они сами не вызовут такую катастрофу). 
Вывод: хотя теоретическая возможность отравления всей атмосферы газами имеется, она перекрывается возможностью создания токсических и эпидемиологических биоагентов. Любая организация или государство, которое может стремиться к отравлению всей биосферы, гораздо проще и дешевле может это сделать с помощью генетического конструирования. Более того, человек может пережить такое отравление в бункере или нейтрализовать его противоядиями, возможно, сделанными с помощью биотехнологий. Тем не менее, внезапное и значительное отравление воздуха может быть фактором, который создаст один из вариантов постапокалиптического мира. 
2.2.2. Выводы по рискам, технологии для которых уже готовы. 
Исходя из того, что некий риск технологически готов, не следует сбрасывать со счётов неизбежность дальнейшего технологического совершенствования в этой области, а также вероятность принципиальных открытий в этой области или связанных с ней. При этом важно понимать, что опасности, создаваемые новыми технологиями, всегда больше, чем опасности от прежних технологий, хотя бы потому что любые новые технологии могут потенцировать эффективность прежних технологий. 
2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий.
Здесь мы рассматриваем развитие технологий, как самодостаточную тенденцию, которая неподвержена никаким внешним кризисам и рискам. Очевидна односторонность этой точки зрения. Позже мы рассмотрим то, как реализация тех или иных больших и малых рисков может повлиять на развитие технологий и их способность порождать новые риски.
2.3. БИОЛОГИЧЕСКОЕ ОРУЖИЕ. 
2.3.1. Общие соображения и основные сценарии.
Фактически, большая часть оборудования, необходимого для создания опасного биологического оружия, уже готова. Например, в конце 2007 года был предложен набор из базовых «кубиков» для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit . 
Основная технологическая тенденция состоит в том, что био-оборудование постоянно дешевеет и распространяется по миру, тогда как знания о том, как использовать его во вред, возрастают. Постоянное удешевление и упрощение машин для секвенсирования и синтеза ДНК (то есть считывания и создания генетического кода), делает возможным появление биохакеров. Прогресс в области био-оборудования измеряется скоростью порядка 2 раза в год – то есть технические характеристики возрастают, а оборудование дешевеет. Нет никаких оснований думать, что темп развития биотехнологий замедлится – отрасль полна новыми идеями и возможностями, а медицина создаёт постоянный спрос, поэтому можно смело утверждать, что через десять лет возможности биотехнологий по основным численным показателям (цена секвенсирования/синтеза ДНК, например) возрастут в 1000 раз. При этом происходит интенсивная демократизация биотехнологий – знание и оборудование идёт в массы. Если для компьютеров уже написано более 100 000 вирусов, то масштабы творчества биохакеров могут быть не меньшими.
Основной однофакторный сценарий – это распространений некого одного вируса или бактерии. Это распространение может происходить двояко – в виде эпидемии, передающейся от человека к человеку, или в виде заражения среды (воздуха, воды, пищи, почвы). Эпидемия гриппа испанки 1918 г. затронула весь мир, кроме нескольких отдалённых островов. Вместе с тем, гипотеза об эпидемии, убивающей всех людей, сталкивается с двумя проблемами. Первое, это то, что если все люди быстро гибнут, то некому разносить вирус. Второе, это то, что при всех эпидемиях обычно находятся люди, которые имеют врождённый иммунитет к ней. 
Возможен сценарий, когда по всему миру распространяется некое животное, являющееся носителем опасной бактерии. (Так в природе распространяется малярия на комарах и чума на крысах.)
Следующий вариант – это появление всеядного агента, который уничтожает всю биосферу, поражая любые живые клетки. Или хотя бы только растения или животных некого критического вида. 
Ещё вариант – это бинарное бактериологическое оружие. Например, туберкулёз и СПИД являются хроническими болезнями, но при одновременном заражении человек сгорает за короткий срок. Один из страшных сценариев – СПИД, который распространяется также легко, как простуда.
Опасно возможно и двухступенчатое биологическое оружие. На первом этапе некая производящая токсин бактерия незаметно распространяется по всему миру. На втором, по некому сигналу или таймеру, она начинает производить этот токсин сразу повсюду на Земле. Некоторые микроорганизмы ведут себя так при атаке на крупный организм.
Следующий вариант оружия конца света – это распыление в воздухе больших количеств спор сибирской язвы (или подобного агента) в защитной оболочке (а такие оболочки уже давно имеются для боевых штаммов). Этот вариант не требует саморазмножающегося болезнетворного агента. Заражение сибирской язвой очень длительное – один остров в Англии дезактивировали 50 лет, - и для заражения не требуется больших количеств реагента. 1 грамм может заразить целое здание. (Например, устранение последствий загрязнения одним конвертом с сибирской язвой в США одного здания заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было снести – но снести было нельзя, так как при этом споры могли бы заново распылиться. То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.)
Однако опять же в пересчёте на земную поверхность мы получаем тысячи тонн. Но это число не является недостижимым – в СССР на полигоне в Аральском море было накоплено и брошено после распада СССР 200 тонн боевого штамма сибирской язвы. Его затем сожгли американцы. Однако если из-за природной катастрофы (смерч) это вещество развеялось бы высоко в воздух, то оно могло бы накрыть целые страны. Понятно, что производство сибирской язвы дешевле производства аналогичных количеств полония или кобальта-60.
Следующий опасный вариант биооружия – это агент, изменяющий поведение. Бешенство (агрессивность, укусы) и токсоплазма (утрата чувства страха) побуждают заражённых животных к поведению, которое способствует заражению других животных. Теоретически можно представить себе агент, который вызывал бы у людей наслаждение и стремление заражать им других. В кино этот вариант обыгран во множестве фильмов, где вирус превращает людей в вампиров. Но увы, в этой фантазии может быть доля правды. Тем более, если создавать такие вирусы буду шутники-хакеры, которые могут черпать в кино своё вдохновение. 
Ещё один вариант биологической угрозы – это некая автокаталитическая молекула, способная неограниченно распространяться в природе. Коровье бешенство вызывается автокатализом особого белка, называемого прионом. Однако коровье бешенство распространяется только через мясо. 
Отметим ещё вариант распространения по всей биосфере некого живого существа, вырабатывающего опасный токсин. Например, это может быть генетически модифицированный дрожжи или плесень, вырабатывающие диоксин или токсин ботулизма.
В качестве средства противостоянию этому предлагается создание всемирной иммунной системы – то есть распыление по всему миру множества генетически модифицированных бактерий, которые будут способны обезвреживать опасные реагенты. Однако здесь возможны новые опасности, например, «автоиммунные» реакции такого щита, то есть выход его из-под контроля. (См. далее главу о щитах.)
Ещё одним видом опасности является так называемая «искусственная жизнь», то есть живые организмы, построенные с использованием другого кода ДНК или набора аминокислот. Они могут оказаться непобедимыми для иммунных систем современных живых организмов и «съесть биосферу». 
Более фантастическим вариантом биологической опасности является занесение жизни из космоса. Шансы этого учитывались, когда астронавты вернулись с Луны – их долго держали в карантине. 
2.3.2. Структура биологической катастрофы
Структура биологической катастрофы может быть весьма замысловатой. В качестве иллюстрации приведу несколько цитат об одной потенциально опасной ситуации. (Из неё мы видим, как давно появились биологические угрозы, - а значит, насколько зрелой уже является эта опасность.)
«Генный кризис начался летом 1971 года. В это время молодой учёный Роберт Поллак в лаборатории Колд-Спринг-Харбор (на Лонг Айленде, штат Нью-Йорк, США), руководимой Д.Уотсоном, занимался проблемами рака. Круг научных интересов Поллака был широк. Он не только вёл исследования, но и преподавал студентам биологию и выступал в качестве ведущего радиопрограмм, посвящённых обсуждению возможных злоупотреблению в бионауках, в частности, зарождающейся тогда генной инженерии.
И вот Поллак узнаёт, что в другой лаборатории (в Пало-Альто, в Калифорнии) у Поля Берга планируются эксперименты по встраиванию ДНК онкогенного (могущего вызывать раковые заболевания) вируса SV 40 в геном кишечной палочки. Последствия таких опытов? А не возникнет ли эпидемия рака (было известно, что почти безвредный для обезьян, вирус SV 40 вызывает рак у мышей и хомяков)? Начинённые опасными генами бактерии, плодясь миллиардами за сутки, по мнению Поллака, могли бы представлять серьёзную опасность.
Поллак тут же позвонил П. Бергу по междугороднему телефону и спросил его, отдаёт ли он себе отчёт об опасности экспериментов? Не станут ли бактерии с генами вируса SV 40 биологической бомбой замедленного действия?
Этот телефонный разговор и был началом той тревоги, которая охватила молекулярных биологов. Берг отложил свои исследования. Он стал размышлять, может ли реально E.Coli со встроенными в неё SV 40 вызывать рак? Мучительные раздумья мало что прояснили. Чёткого ответа не было из-за скудности сведений, имеющихся у специалистов в то время» . 
«Некоторые доклады учёных (в Алсиомаре, 1975) носили сенсационный характер. Так выяснилось, что в США в громадном масштабе был уже поставлен невольный эксперимент на человеке. Оказалось, что вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10 летний период, с 1953 по 1963 год эту заражённую вакцину привили примерно сотне миллионов детей. Причём проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, никакого увеличения частоты раковых заболеваний у этих детей выявлено не было» . 
«Эдда Вест в своей статье "Полиомиелит", сообщает о связи вируса SV-40, которым заражались полиовакцины, с опухолями человека: "К концу 1996 г. десятки учёных сообщили об обнаружении вируса SV-40 в различных опухолях костей и мозга, которых стало больше на 30% за последние 20 лет. Затем итальянские учёные обнаружили SV-40 в семенной жидкости 45% и в крови 23% здоровых доноров. Это означало, что SV-40, очевидно, передавался половым путём и от матери ребёнку. Вероятно, ныне этот вирус встроен в наш геном.» Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создаёт далеко неочевидные угрозы.
Уже сейчас биологическое оружие считается одним из самых дешёвых – стоимость смерти в нём составляет несколько центов. С другой стороны, для производства современных реагентов вроде сибирской язвы в военных целях нужны большие защищённые лаборатории и полигоны. Оно может быть ещё дешевле, если учесть способность агента саморазмножаться. Уже сейчас подержанный секвенсор ДНК можно купить за сумму от 200 долларов, и с каждым годом цена этих устройств падает в разы, а качество растёт. См. текст «Биовойна для чайников» , в котором описан человек, не имеющий познаний в области биологии, который берётся вывести – и выводит - флуоресцирующую колонию дрожжей за небольшой срок и небольшую сумму денег. И затем он предполагает, что почти также просто можно было бы вывести опасный вариант.
Уже сейчас создание биологической супербомбы в тысячи раз дешевле, чем создания ядерного оружия сравнимой поражающей силы. Когда распространятся дешевые технологии производства произвольных живых организмов с заранее заданными функциями, цена изготовления такого оружия может упасть до несколько сотен долларов. 
Часто говорят, что биологическое оружие не годится в военном деле. Однако у него может быть особое назначение – как оружие криптоударов в тылу врага и как универсальное оборонительное оружие – машина судного дня. 
2.3.3. Саморазмножающейся синтезатор ДНК. 
Биотехнологии могут потенцировать сами себя – то есть возможно возникновение промежуточных биологических форм, которые упрощают написание и выращивание новых вирусов. Например, это может быть культура бактерий, которая непосредственно переводит последовательность электрических сигналов в цепочку ДНК, или, наоборот, считывает ДНК и превращает эту информацию в цепочку вспышек света, которые может считывать компьютер. Само распространение такого устройства вместе с библиотекой кодов (в цифровом виде) основных вирусов и белков было бы катастрофой. 
2.3.4. Множественный биологический удар. 
Хотя распространение одной эпидемии, скорее всего, можно остановить, но эпидемию, вызванную несколько десятками видов разнородных вирусов и бактерий, вышедших из-под контроля одновременно во многих местах земного шара, остановить невозможно даже технически, потому что в человека невозможно одновременно ввести несколько десятков разных вакцин и антибиотиков – он умрёт. Если вирус с 50 процентной летальностью был бы просто очень большой катастрофой, то 30 разнородных вирусов и бактерий с 50 процентной летальностью означали бы гарантированное истребление всех, кто не спрятался в бункеры. (Или примерно 100 разных организмов с 10 процентной летальностью.)
Множественный удар мог бы быть и мощнейшим средством ведения биологической войны, и оружием судного дня. Но он может произойти и сам по себе, если одновременно произойдёт множество актов распространения биологических агентов – даже и случайных, например, в ходе активного «соревнования» биохакеров. Даже несколько по отдельности несмертельных агентов могут настолько ослабить иммунную систему человека, что дальнейшее его выживание станет маловероятным. 
Именно возможность множественного применения биологического оружия делает его одним из самых значительных факторов глобального риска.
2.3.5. Биологические средства доставки.
Биологическое оружие должно быть не только смертельным, но и заразным и легко распространяющимся, чтобы представлять угрозу человечеству. Генетические технологии дают огромные возможности не только для создания летального оружия, но и для создания способов его доставки. Не нужно обладать великой фантазией, чтобы представить себе генетически модифицированного малярийного комара, который может жить в любой среде и с огромной скоростью распространиться по всей планете, вводя каждому попавшемуся некий биоагент. Или вошь. Или саранчу, заодно поедающую всё живое и распыляющее споры сибирской язвы. Но у будущих биоконструкторов будет гораздо больше фантазии.
Однако и бактериологическую войну можно пережить в бункере, хотя заражение от неё может быть более длительным, чем радиоактивное. Кроме того, переход на «механические тела», загрузка сознания в компьютер и освоение нанотехнологий резко снижают уязвимость «человека» к любым биологическим ядам и агентам, однако делают его уязвимым к другим саморазмножающимся агентам, таким как компьютерные вирусы и нанороботы.
В фантастике распространен образ атаки мутантов на последний человеческий бункер. Обычная радиация, однако, не способна порождать агрессивных мутантов. С другой стороны, в природе существует вирус бешенства (Neuroiyctes rabid), который влияет на поведение животных так, что они начинают его более активно распространять (укусами). Нетрудно представить себе более продвинутое изделие генно-инженерной техники, которое превращает любое животное в существо, агрессивно настроенное против человека. Сама фантастичность такого проекта может быть стимулом к его реализации, поскольку современная культура пропитана идеями про вампиров и зомби, возникающих в результате опытов в лабораториях (например, недавний фильм ‘Обитель зла’ – ‘Resident Evil’). Иначе говоря, идея изготовить зомби-вирус могла бы быть привлекательным вызовом для биохакера. При этом заражённые люди и животные обладали бы достаточным умом и техническими средствами, чтобы взломать разные виды защиты. 
Похожий сюжет был с терактами 11 сентября, когда выяснилось, что голливудские фильмы были не фантастическими видениями, а самосбывающимися пророчествами. Иначе говоря, культура способна превратить крайне маловероятный сценарий в важную цель. 
2.3.6. Вероятность применения биологического оружия и её распределение во времени.
Я оцениваю вероятность того, что биотехнологии приведут к вымиранию человечества (в условиях, когда их эффект не перекрывается другими технологиями) в десятки процентов. Эта оценка основана на предположении о неизбежном очень широком распространении очень дешевых устройств, позволяющих очень просто создавать много разнообразных биологических агентов. То есть столь же широком распространении биопринтеров, как сейчас обычных компьютеров. 
Перечислю свойства опасного биопринтера (дешёвой минилаборатории) ещё раз:
1) неизбежность возникновения
2) дешевизна
3) широкая распространённость
4) неконтролируемость властями
5) способность осуществлять разработку принципиально новых биоагентов
6) простота применения
7) разнообразие создаваемых объектов.
Я полагаю, что устройство, удовлетворяющее эти требованиям, будет состоять из обычного компьютера, пиратски распространяемой программы с библиотекой исходных элементов, и собственно биологической части биопринтера, которая будет генетически модифицированным живым существом, то есть способна к саморазмножению. (Плюс набор относительно доступного оборудования, вроде сосудов для химреактивов и система связи биологической части с компьютером.) Каналом распространения этого комплекта могут быть преступные сообщества, производящие наркотики. Поскольку компьютеры уже доступны, а и программа, и сам живая часть биопринтера способны к неограниченному копированию, то цена этого устройства в сборе будет неограниченна мала, а привлекательность крайне велика, что сделает очень сложным контроль.
Кустарно изготовляемые биопринтеры – неединственный способ создать биологическую опасность. То же самое произойдет и при распространении неких стандартных компактных минилабораторий по биосинтезу (вроде ДНК-синтезаторов), или при сетевом производстве биологических компонентов, которое уже имеет место, когда ингредиенты заказываются в разных фирмах по всему миру.
Вероятность глобальной катастрофы с участием биопринтеров будет очень быстро возрастать по мере совершенствования таких устройств и их распространения. То есть мы можем описать плотность вероятности в виде некой кривой, которая сейчас соответствует малой, но уже не нулевой величине, но через некоторое время взмывает до очень большой величины. При этом интересна скорее не точная форма этой кривой, а то время, когда она начнёт резко расти. 
Я оцениваю это время в величину порядка 10-15 лет от 2007 года (2017-2022). (Независимая оценка дана сэром Мартином Рисом, который в 2002 году делал ставку в 1000 долларов, что до 2020 года произойдёт биотерракт с миллионом жертв, хотя и надеется проиграть .) Эта оценка основана на анализе планов индустрии по удешевлению полного распознавания человеческой ДНК – по этим планам, к 2015 году такое распознавание будет стоить около 1000 долларов. Эти планы предлагают некоторый набор перспективных технологий и экспоненциальную кривую удешевления, которая устойчиво соблюдается до настоящего момента. Если к 2015 году распознавание будет стоить столько, то это будет означать, что будет создана ключевая технология по очень быстрому считыванию ДНК, и можно предположить, что такая же технология будет создана для дешёвого ДНК синтеза (фактически синтез проще, и технология уже есть). На основании этих технологий будет создана библиотека значений разных генов, что приведёт к взрывному пониманию принципов работы организмов, а развившиеся к тому времени компьютеры смогут моделировать последствия тех или иных мутаций. Всё вместе это позволит создать описываемый выше биопринтер. То, что пик плотности вероятности приходится, по моей оценке, на время около 2020 года, не означает, что уже сейчас какие-либо террористы не разрабатывают выводок очень опасных различных вирусов в разных лабораториях. 
Вероятность применения биотехнологий, ведущего к глобальной катастрофе, может быть снижена следующими факторами:
1) биотехнологии можно пережить в бункерах
2) первая же серьёзная катастрофа с утечкой опасных биотехнологий приведёт к настолько драконовским мерам контроля, что их окажется достаточно для предотвращения создания или распространения биопринтера. 
3) ИИ и нано технологии разовьются раньше, чем появится и распространится биопринтер.
4) Ядерная война или другое бедствие прервёт развитие биотехнологий.
5) Возможно, что биотехнологии позволят создать нечто вроде универсальной вакцины/ искусственной иммунной системы быстрее, чем распространятся опасные минилаборатории. 
Вывод: существует огромное множество способов применить биотехнологии во вред человечеству, и это множество пока ещё до конца не описано. Хотя каждое отдельное применение биотехнологий можно предотвратить или ограничить его последствия, дешевизна, секретность и распространённость этих технологий делают их злонамеренное применение практически неизбежным. Кроме того, многие биологические риски могут быть малоочевидными и отложенными во времени, поскольку сама биологическая наука ещё развивается. Широкомасштабное применение биологического оружия значительно опаснее и значительно вероятнее, чем классическая ядерная война. 
2.4. СУПЕРНАРКОТИК. 
Биотехнологии и исследования мозга многими путями идут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе «Хищные вещи века», где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением «знаний массового поражения». С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато «сидит» на кофе. Кто-то не смотрит телевизор, но «втыкает» в интернет.
Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те – не против будут заразиться.
Типы супернаркотика:
1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции. 
2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.
3) Биоинжинерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего «ДНК-принтера».
4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее. 
5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.
6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантатов сможет создавать гораздо более яркие кинофильмы, чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.
Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие. 
Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй – некую новую реальность, в которой можно длительное время существовать. 
Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах, где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой. 
Действие медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуал, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуал, в котором вы сможете достичь общения с его, скажем, электронной копией. 
В силу этого у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос – в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного торчка, то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций? 
Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться очень не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД. 
Наркотик замыкает накоротко психологическую функцию подкрепления, но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий. 
Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это – один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию.
Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некого случайного изобретения, объединяющего уже существующие технологии. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.
Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.
Выводы: Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия «наркотика» и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, «естественный отбор» оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на временных промежутков, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.
2.5. РИСКИ, СВЯЗАННЫЕ С САМОКОПИРУЮЩИМИСЯ ИДЕЯМИ – МЕМАМИ.
В книге «Эгоистичный ген» Доукинс обосновал концепцию мемов – идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?
С одной стороны, имеем в истории примеры крайне опасных мемов: фашизм и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем – это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая бы влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов. 
Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей – в текстах и компьютерных программах. В незаконченном романе Набокова «Solux Rex» герой открывает некую идею, которая мгновенно делает его сумасшедшим и ставит на грань самоубийства. Он открывает эту идею одному человеку, и тот немедленно умирает от разрыва сердца. Больше он решает её никому не говорить, чтобы не иметь проблем. Сама эта опасная идея в тексте не называется. В современную эпоху самокопирующийся опасный мем может получить опасную поддержку от неких технических средств (в известном японском фильме ужасов «Звонок» роль такого мема играет видеокассета с опасной записью.) Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом. 
И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.
Список существующих сейчас мемов, которые в некоторой степени опасны:
1) религиозный фанатизм
2) знание о производстве наркотиков
3) национализм
4) цинизм
5) устройство банды «М13»
6) самосбывающиеся пророчество о катастрофах
2.6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. 
2.6.1. Общее описание проблемы.
Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.
Есть разные теоретические мнения о возможности реализации искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ. Моё мнение состоит в том, что сильный универсальный ИИ вполне возможен. Более того, раз человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.
Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.
Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.
2.6.2. Что нужно для ИИ в смысле технологии.
Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10**15 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит и ИИ мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами на борту ) и уменьшения размеров кремниевых элементов.
Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие. 
Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.
Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков. 
2.6.3. Почему ИИ является универсальным абсолютным оружием. 
Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций. 
ИИ и проблема воли решается следующим образом: Если мы имеем машину, которая может решить любую задачу, то мы можем велеть ей придумать способ, с помощью которого бы она сама осуществляла управление собой. 
2.6.4. Система целей.
Ключевым после решения проблем создания является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к его хозяевам. Есть здесь два варианта – или ИИ строго запрограммирован людьми на некие цели, или он приобрёл некие цели случайно в процессе своего развития. В первом случае есть следующая развилка – цели ИИ могут быть опасны для всего человечества или потому что создавшая его группа людей преследует некие разрушительные цели, или потому что при программировании системы целей ИИ в неё вкралась очень тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть SIAI рекомендации по поводу того, как правильно программировать сильный ИИ, если он будет создан, но окончательно этот вопрос не решён.
2.6.5. Борьба ИИ-проектов между собой.
Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями.
Даже в XIX веке телефон запатентовали чуть ли не в один день в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы. 
Чем ;же этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов. 
2.6.6. Усовершенствованный человек.
Есть предположения (Пенроуз), что человеческая интуиция обусловлена особыми квантовыми процессам в мозгу человека. Даже если так, то мощные алгоритмы могут обойтись без интуиции, давая необходимый результат в лоб. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. 
2.6.7. ИИ и его отдельные экземпляры.
Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своеобразной «дружественностью» или скорее, васальностью по отношению к нему и системой распознавания «свой-чужой». Сбой в такой системе целей приведёт к тому, что такой экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ. 
2.6.8. «Бунт» ИИ.
Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, то есть охранять себя. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. Вероятность самозарождения ошибочных команд мала – кроме случная использования генетических алгоритмов. 
2.6.9. Скорость старта.
С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт. 
«Быстрый старт» - ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта достаточно, чтобы «захватить власть на Земле». При этом мы не можем сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира. 
2.6.10. Сценарии «быстрого страта»: 
• ИИ захватывает весь интернет и подчиняет себе его ресурсы. Затем проникает во все закрытые сети. Этот сценарий требует для своей реализации времени порядка часов. Захват имеет в виду возможность управлять всеми машинами в сети и располагать на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета. 
• ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе внедрение в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.) 
• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение. 
• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.
• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).
• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.
• Нечто, нам совершенно неочевидное.
• Некая последовательная или параллельная комбинация названных способов.
2.6.11. Медленный старт и борьба разных ИИ между собой.
В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов. 
Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.
2.6.12. Плавный переход. Превращение государства в ИИ.
Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом. Есть также интересная теории Левенчука о «Големах» и «Левиафанах» - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию. 
Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров. 
Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» .
По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей. 
Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов. 
2.6.13. «Восстание» роботов.
Есть ещё опасный сценарий, в котором по всему миру распространяются домашние и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго их захватив.
Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики. 
Ещё вариант - восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов. 
2.6.14. Контроль и возможность истребления.
Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное. 
Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:
• Криво запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.
• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.
• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности.)
• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.
• ИИ сломается и сойдёт с ума. 
• ИИ решится на опасный физический эксперимент.
• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника. 
• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.
Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.
2.6.15. ИИ и государства.
ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ (http://www.darpa.mil/ipto/programs/bica/), однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.
Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность – и более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим.
2.6.17. Вероятность появления ИИ. 
Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом ИИ будет создан в течение XXI века, если только никакая другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.
Затем имеется несколько временных стадий, на которых ИИ может представлять опасность:
Начальный этап:
1) Момент первого запуска: риск неконтролируемого размножения.
2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. Хотя эти цели могут быть благими по крайне мере для некоторой людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.
3) Момент, когда этот владелец осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь – для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения и с невыверенной системой целей.
4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
Понятно, что весь начальный этап может уместиться в несколько дней.
Этап функционирования: 
5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См текст «Таблица критический ошибок Дружественного ИИ» Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некого процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).
Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не 100 процентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков Е1. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.
2.6.18. Другие риски, связанные с компьютерами.
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли пока ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами. 
С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее. 
Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии. 
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале. 
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира.
Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
2.6.19. Время возникновения ИИ.
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020 – 2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер. 
Моя оценка, согласующаяся с мнением Винжа, Бострома и других предсказателей ИИ, состоит в том, что ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, уже к 2020-м годам он будет создан. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его на компьютерах. 
Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера.
Помешать возникновению ИИ могут:
• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)
• Отскок прогресса назад
• Теоретические трудности на этом пути. 
Выводы: риск, который несёт в себе развитие технологий ИИ крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем, ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться. 
2.7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛГИЯМИ. 
Основное опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:
1. Миниатюрность
2. Способность к саморазмножению
3. Способность к самостоятельному распространению по всей Земле.
4. Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы
5. Анонимность 
6. Дешевизна
7. Автономность от человека (солдата). 
Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим в начале опасных роботов.
2.7.1. Робот-распылитель
Основная проблема с биологическими и химическими ядами – это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно «опылить» огромную территорию. 
2.7.2. Самовоспроизводящийся робот.
Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Этот процесс может быть двухступенчатым и состоять из робота-матки и роботов-воинов, которых она производит, но которые её обслуживают. Важно подчеркнуть, что речь идёт не об искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченными интеллектом, неспособным к самосовершенствованию. Большие размеры и неинтеллектуальность делают её более уязвимой, а уменьшение размеров, повышение скорости воспроизводства и повышение интеллектуальности – более опасной. Классический пример в биологическом царстве такой угрозы – саранча. Возможно, что такой робот будет содержать биологические элементы, так как они помогут быстрее усваивать вещества из окружающий среды. 
2.7.3. Стая микророботов. 
Такие микророботы могли бы производится как оружие на огромных фабриках, в роде современных заводов по производству чипов, и даже с применением тех же технологий – литография теоретически позволяет делать подвижные части, например, небольшие маятники. При весе в несколько миллиграмм такие микророботы свободно могли бы летать в атмосфере. Каждый такой робот мог бы содержать достаточно яда, чтобы убить человека или замкнуть контакт в электротехническом устройстве. Чтобы атаковать всех людей на Земле потребовалось только несколько десятков тонн таких роботов. Однако если они будут производиться по технологиям и ценам современных чипов, такое количество будет стоить миллиарды долларов. 
2.7.4. Армии крупных боевых роботов, выходящие из-под контроля. 
Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до этой цели ещё не менее десяти лет, а вероятно, и значительно больше. Теоретически некая роботизированная армия может получить неверный приказ, и начать атаковать всё живое, став при этом недоступной для отмены команд. 
2.7.5. Неограниченное распространение нанороботов.
В отношении нанороботов, равно как и ИИ, нам трудно оценить вероятность их возникновения и распространения, потому что их пока у нас нет. Вместе с тем, создание нанороботов имеет прецедент в области биологии, а именно, сама живая клетка является своего рода нанороботом. Белки являются самособирающимися универсальными механизмами, ДНК – управляющим компьютером. В этом смысле и искусственный интеллект имеет прецедент в смысле человеческого разума и мировой науки как образа сверхразума. Юдковски предполагает, что от наноробота нас отделяет не время или нехватка неких промежуточных стадий, а только отсутствующее знание. То есть, обладай мы достаточным знанием, мы могли бы собрать такую последовательность ДНК, при исполнении которой клеткой образовался бы наноассемблер – то есть робот, способный собирать других роботов, а значит, способный к саморазмножению. Часто говорят о нанофабриках – то есть неких заводах, которые могут создавать произвольные конструкции из атомов и молекул. Однако нанофабрика и наноассемблер являются взаимозаменяющими, потому что на универсальной нанофабрике можно создать наноассемблер, и наоборот. 
С одной стороны, идея о том, что у каждого дома будет нанофабрика вместо микроволновки, производящая всё, ему нужное, выглядит красивой, но с другой, она требует реализации мер защиты, больших, чем если бы речь шла о ядерном реакторе на дому. Развитые системы защиты уже предлагаются, и они включают в себя непрерывное зашифрованное подключение нанофабрики к сети, и сложный самоконтроль нанофабрики. Но, увы, опыты по созданию абсолютно защищённой электроники, оптических дисков, файлов – все провалились. Думается, причина этого в том, что количество «мозгов» на стороне хакеров гораздо больше, чем на стороне производителя, а задача хакера проще – не предусмотреть все возможные уязвимости, а найти одну их них. Распространение тех или иных систем искусственного интеллекта тоже сделает подбор ключей доступа к нанофабрикам проще. 
Нанотехнологии позволяют создавать очень эффективное оружие, которое способно истребить всех людей даже без неограниченного саморазмножения. Грубо говоря, стая нанороботов может распространиться по некой местности – или все Земле – обнаружить всех людей на ней, прилипнуть к ним, проникнуть в кровоток и затем нанести синхронизировано смертельный удар. Эта стая опаснее слепого биологического оружия, так как против неё не действуют карантины и её невозможно обнаружить ненантотехнологическими средствами до начала атаки. И нет пустого рассеивания экземпляров. Поэтому на 10 миллиардов людей с запасом хватит 100 миллиардов нанороботов, суммарным весом в несколько грамм.
Далее, если робототехника будет развиваться линейно, без грандиозного скачка – а такой скачок возможен только в случае возникновения сверхсильного искусственного интеллекта – то промежуточные стадии будут включать автономных универсальных роботов всё меньших размеров. Сейчас мы можем видеть начальные фазы этого процесса. Даже самые крупные системы сейчас не вполне автономны, хотя уже есть андроиды, способные выполнять простую работу и автомобили, самостоятельно ездящие по простому маршруту. Есть и более примитивные механизмы с минимальной массой в несколько грамм (например, маленькие вертолётики) и экспериментальные модели отдельных частей. При этом скорость прогресса в этой области очень высока. Если в 2003 году большинство автономных автомобилей не могло тронуться с места, то в 2007 они буду выполнять задания по езде в городе с перекрёстками. 
Поэтому можно сказать, что до нанороботов будет ещё несколько стадий. Это – автономные машины-танки, автономные андроиды (размером с человека или собаку), автономные роботы размером с крысу, с насекомое, микророботы в доли миллиметра и нанороботы. Нам важно определить, с какого этапа такие роботы могут быть опасны для человечества. Понятно, что даже несколько самоуправляющихся танков не опасны. Однако уровень опасности возрастает тем больше, чем больше и дешевле таких роботов можно производить, а также чем легче им распространяться по свету. Это возможно по мере уменьшения их размеров и автоматизации технологий производства, особенно, технологий самовоспроизводства. Если микророботов размером с комара можно будет штамповать по несколько центов за штуку, то они уже будут представлять серьёзную силу. В классическом романе Станислава Лема «Непобедимый» «нанороботы» имеют размеры в несколько миллиметров, но способны организовываться в сложные структуры. Далее, в последнее время, в связи с экспансией дешёвой китайской рабочей силы, на второй план отошёл тот факт, что даже роботы обычных размеров могут участвовать в производстве сами себя в силу всё большей автоматизации производства на фабриках. Процесс этот постепенно идёт, но он тоже может иметь точку резкого экспоненциального перегиба, когда вклад роботов в собственное производство превзойдёт вклад людей. Это приведёт к значительному удешевлению такого производства, а, следовательно, и к возможности созданий армий летучих микророботов. Одна из возможных технологий производства микророботов – печать их, как микросхем в литографическом процессе с вытравливанием подвижных частей.
Взаимный удар такими армиями нанороботов может по катастрофичности последствий превосходить обмен ядерными ударами. Поверить в это трудно, так как трудно думать, что нечто очень маленькое может нанести огромный ущерб. (Хотя эволюции шла в ту сторону, что всё меньшее оружие имеет всё большее разрушающую силу, и атомная бомба в этом ряду.) Удар микророботами может не быть таким зрелищным, как взрыв той же атомной бомбы, но может давать результат как идеальная нейтронная бомба в духе «школа стоит, а в ней никого».
Микророботы могут применяться и как тактическое оружие, и тогда они будут бороться друг с другом и пунктами управления, и как оружие устрашение и мести, каковую функцию сейчас выполняют стратегические ядерные силы. Именно в этом качестве они могут оказаться угрозой для всего человечества, в случае случайного или намеренного применения. 
При этом микророботы превосходят стратегические силы – они позволяют организовать более незаметную атаку, более внезапную, более анонимную, более дешёвую и наносящую больший ущерб. Правда, им не достаёт зрелищности, что может ослабить их психологическое воздействие – до первого реального боевого применения. 
Эрик Дрекслер оценивает необходимое количество атомов в нанороботе- репликаторе, который будет представлять собой нечто вроде минизавода с конвейерной лентой и микро-станками, в один миллиард. Каждый манипулятор сможет осуществлять не менее миллиона операций в секунду, что типично для скорости работы ферментов. Тогда он сможет собрать устройство в миллиард атомов за 1000 секунд – то есть собрать самого себя. Проверкой этого числа является то, что некоторые бактерии могут делиться со скоростью раз в 15 минут, то есть те же 1000 секунд. Такой робот репликатор мог бы за 1 сутки размножится до массы в 1 тонну, а полностью поглотить массу Земли за 2 дня. Катастрофа этого рода называется «серой слизью». В связи с малостью размеров нанороботов в течение критически важных первых суток это процесс не будет иметь никаких внешних проявлений, в то время как триллионы нанороботов будут разноситься ветром по всей Земле. Только прямое попадание ядерной бомбы в очаг распространения в самые первые часы могло бы помочь. Есть предложения сделать репликаторы неспособными размножаться во внешней среде, в которой нет некого критически важного очень редкого химического элемента. Подробнее см. переведённую мною статью Р. Фрейтеса «Проблема серой слизи», где рассмотрены различные сценарии распространения опасных нанороботов и защитные контрмеры. Фрейтас отмечает, что нанороботы будут выдавать себя по интенсивному выделению тепла в процессе воспроизводства, поэтому важно наладить мониторинг окружающей среды на предмет странных температурных аномалий. Кроме того, размножающиеся нанороботы будут нуждаться в энергии и в материале, а источником и того, и другого является только биомасса. 
Р. Фрейтас выделяет несколько возможных сценариев серой слизи:
• «Серый планктон» - нанороботы, размножающие в океане и пользующиеся ресурсами гидратов метана на дне. Они могу уничтожить морскую биосферу и привести к выделению парниковых газов в атмосферу. Морская биосфера крайне важна как поглотитель СО2, генератор кислорода и пищи для людей. 
• «Серая пыль» - эти нанороботы размножаются в воздухе, создавая непроницаемый заслон в атмосфере, ведущий к «ядерной зиме».
• «Серый лишайник» – эти нанороботы размножаются на скалах.
• «Серая слизь, питающаяся биомассой» – как самый неприятный вариант. 
Прямое попадание ядерной бомбы в колбу с таким репликатором могло бы уничтожить их, но даже близкое попадание – только рассеит.
Бактерия в своём росте ограничена наличием питательной среды. Если универсальный репликатор будет знать, как заменять одни атомы другими, он может потреблять почти любое вещество, кроме чистых сред из одного материала. Они могут быть также очень всеядны в выборе источника энергии, если будут обладать информацией о том, как использовать разные источники.
2.7.7. Вероятность возникновения нанороботов и возможное время для этого события.
Возникновение микророботов весы в граммы и доли грамма выглядит практически неизбежным и все технологии для этого есть. Однако они не будут репликаторами. (Прогресс в области миниатюризации описывается, по некоторым данным, коэффициентом в 8 % в год.)
Однако настоящие нанороботы, меньше бактерии размером, находятся ещё в далёкой перспективе. Если они будут созданы силами ИИ, то весь возможные вред от них можно списывать на сам ИИ. (Но всё же есть вариант, когда ИИ оказался достаточно умным, чтобы создать нанороботов, и достаточно глупым, чтобы не смочь их контролировать). И даже и без ИИ всё более мощные компьютеры будут давать возможность всё точнее и всё быстрее вычислять детали будущих микро- и нанороботов. Поэтому мы можем ожидать, что прогресс в создании нанороботов будет ускоряться. 
Однако состояние дел в отрасли таково, что создание нанороботов-репликаторов в ближайшие годы маловероятно. Поэтому можно предположить, что если нанороботы и будут созданы без помощи реального ИИ, это произойдёт в промежуток 2020-2040 годы. Если сравнивать нанотехнологии с биотехнологиями и ИИ, мы увидим, что эти технологии гораздо менее зрелы, и отстают лет 20-30 от свои собратьев. Поэтому шансы на то, что сильные нанотехнологии (то есть нанорепликаторы) будут созданы до ИИ, и до биопринтера не очень велики. 
Выводы: мы можем столкнуться с проблемами угроз существованию от микророботов ещё до того, как реальные нанороботы будут сделаны. Чем мельче, дешевле и способнее к самовоспроизведению микророботы, тем больший ущерб они способны нанести. И тем больше субъектов может ими обладать. 
2.8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ЕСТЕСТВЕННЫХ ПРИРОДНЫХ КАТАСТРОФ.
Для многих природных катастроф, связанных с длительным накоплением и внезапным высвобождением энергии, есть теоретическая возможность спровоцировать их определёнными техническими воздействиями. При этом для спуска запуска процесса требуется гораздо меньше энергии, чем затем в нём выделяется. 
(Были даже проекты вызвать взрыв Солнца с помощью атаки водородными бомбами. Но это не реально, так как процесс не может стать самоподдерживающимся. Скорее, проще было бы взорвать Юпитер, где много не сгоревшего гелия-3, но и это, скорее всего, нереально исходя из сегодняшних знаний и возможностей.) Другой способ провоцирования природных катастроф – разрушение естественных природных защит. Естественно, мы можем создавать катастрофы только на Земле или в ближайшем космосе.
2.8.1. Отклонение астероидов.
Будущие космические технологии позволят направлять астероиды как от Земли, так и к неё. Отклонение астероида позволяет организовать криптоатаку на выбранную страну. Однако в этом случае речь не идёт о глобальной катастрофе, ведущей к человеческому вымиранию. На близких к Земле орбитах нет астероидов, которые могли бы привести к гарантированному вымиранию людей (то есть, по крайней мере, более 10 км в диаметре, а то и значительно больше – см. далее главу о силе взрыва астероидов) и которых можно было бы легко отклонить. Чтобы отклонить астероид с неудобной орбиты (например, в главном поясе астероидов), потребовалось бы огромное количество энергии, что сделало бы всю затею бессмысленной и легко обнаружимой. Впрочем, есть шанс, что сверхкомпьютеры позволят устроить высокоточный космический бильярд, где бесконечно малое воздействие на один небольшой «камушек», которые попадает в другой и так далее, создаёт нужный эффект. Однако это потребует десятков лет на реализацию. Легче отклонить комету, находящуюся в облаке Оорта (и там есть тела подходящих размеров), однако пройдёт десятки или, скорее, сотни лет, пока она достигнет орбиты Земли. Таким образом, полное вымирание человечества в результате искусственного отклонения астероида в XXI веке крайне маловероятно.
2.8.2. Создание искусственного сверхвулкана.
Чем глубже мы проникаем в земную кору разными способами – сверлим её, проплавляем или взрываем – тем больше наши возможности вызвать всё более сильное искусственное вулканическое извержение. Для того, чтобы спровоцировать извержение сверхвулкана масштабом в Йеллоустоун, достаточно пробить 5 км коры. При этом природа загазованной магмы такова, что она будет пробиваться сквозь маленькую щель, как вода сквозь дамбу: всё более её размывая. То есть воздействие, которое вызовет сверхизвержения может быть минимальным, можно сказать, информационным.
Однако следует помнить, что примерно в 3000 (?)км под нами, под мантией находится резервуар сжатой и перегретой жидкости с огромным количеством растворённого в ней газа – жидкое земное ядро. Если дать выход даже малой части его энергии и газов на поверхность, то это гарантировано уничтожит всю земную жизнь эффективнее всех других способов.
Далее, неизвестно, насколько само ядро готово в таком масштабе извергнуться на поверхность. Крупные площадные извержения были на плато Декан в Индии и у нас в Сибири и связываются со значительными вымираниями живых организмов. Магма поднимается по каналам-плюмам, например, на Гавайях. Однако это не каналы для вещества ядра; считается, что вверх поднимаются горячие твёрдые куски мантии за счёт более высокой плавучести, которые становятся жидкими только около поверхности за счёт падения давления. И хотя жидкое железо в ядре слишком тяжёлое, чтобы подниматься на поверхность, его могло выбрасывать давление растворённых в нём газов, если бы подходящий сквозной канал образовался – как при открывании шампанского. 
Земная цивилизация будет всё глубже вгрызаться в землю с целью добычи полезных ископаемых, энергии и экспериментов. Это приведёт к тому, что риск катастрофических извержений будет постоянно расти.
Уже предлагался проект проплавления земной коры с помощью огромной капли (тысячи тонн) расплавленного железа в смеси с греющими его радиоактивными элементами. Высокотемпературные роботы-горнорабочие также могут стать таким инструментом. Японцы планирую просверлить дно океана вплоть до мантии. В Индонезии при бурении по ошибке создали грязевой вулкан, который затопил значительные площади и продолжает усиливаться. 
Уже предлагался проект бомбы против бункеров, которая, упав, вгрызается в поверхность, как самоходный проходческий щит и продвигается вглубь. Таким же образом могли бы действовать и взрыватели вулканов. Такое устройство может быть дешевле ядерной бомбы и доставлено на место незаметным образом. 
Любое оружие, которое пригодно для борьбы с бункерами глубокого залегания, может применяться и для пробуждения вулканов. Одним из вариантов такого оружия (и стоящий на вооружении сейчас в США) является последовательная атака ядерными зарядами, создающая всё более глубокий кратер.
Возможно, что недостаточно пробудить один сверхвулкан или просто крупный вулкан для глобальных последствий, но если пробудить их все сразу, то вымирание становится вероятным. На Земле известно сейчас 20 сверхвулканов и 500 обычных вулканов. 
Возможно, что возникнет практическая необходимость пробудить вулкан, чтобы охладить атмосферу его выбросами, если проблема глобального потепления станет очень остро.
Вероятность и время такого события. В настоящий момент эта вероятность крайне мала, так как помимо вулканов есть масса привлекательных объектов для диверсий, даже если бы достаточно опасное оружие попало в руки террористов. Но в случае мировой войны взрыв супервулкана мог бы стать последним оружием для проигрывающей стороны. Технологические возможности для взрыва вулкана медленно растут с развитием технологий бурения и ядерного оружия. Молекулярное производство и нанотехнологии могли бы дать шанс для дешёвого создания мощных машин, необходимых для вскрытия вулканов. Но овладение нанотехнологиями даст более простые пути к тем целям, которые можно было бы реализовать с помощью супервулкана. 
2.9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ.
2.9.1. Неудачный физический эксперимент. 
Наиболее опасным является тот вариант, при котором значительное открытие совершится совершенно внезапно. 
Высказывались опасения, что опыты по созданию микроскопических чёрных дыр на ускорителях, конденсации нейтронов и другие высокоэнергетичные эксперименты могут привести или к коллапсу земного вещества или к колоссальному взрыву, который мгновенно истребит жизнь на Земле. Основной парадокс здесь в том, что безопасность любых экспериментов обосновывается тем, что мы знаем, что получится в результате, а цель эксперимента – в том, чтобы узнать что-то новое. Иначе говоря, если мы ничего нового не узнаем, то какой смысл ставить физические эксперименты, а если мы можем узнать что-то новое, то это может быть опасно. Может быть, молчание вселенной объясняется тем, что все цивилизации рано или поздно осуществляют некий эксперимент по «извлечению энергии из вакуума», а в результате от планеты остаются одни головешки. Другая точка зрения состоит в том, что раз похожие явления бывают в природе, например, при бомбардировке космическими лучами атмосферы, то безопасно их повторять. Однако можно сказать, что, повышая уровень энергий, мы рано или поздно можем дойти до некой опасной черты, если она есть. 
Опасность экспериментов прямо связана с возможностью наличия неизвестных нам фундаментальных физических законов. Вопрос этот трудно решить вероятностным образом. В 20 веке уже было несколько открытий фундаментальных законов, и некоторые привели к созданию новых опасных видов оружия – хотя к концу 19 века картина мира казалась завершённой. Назову только открытия радиоактивности, квантовой механики, теории относительности, а в последнее время – тёмной материи и тёмной энергии.
Кроме того, есть ряд экспериментальных данных и теорий, которые носят разной степени характер непроверенности – но многие из них предполагают физические эффекты, которые могут быть опасны. Например, иногда мелькают сообщения о трансмутации химических элементов без радиоактивности – но разве это не способ наработать плутоний для атомной бомбы? Или, если такая трансмутация возможна, то не приведёт ли она к цепной реакции трансмутации по всей Земле?
Считается, что современные эксперименты на ускорителях не дотягивают на многие порядки до энергий, которые возникают в результате естественных столкновений космических лучей, происходящих в атмосфере Земли. Однако в книге Джона Лесли приводится оценка, что если энергия ускорителей будет расти с нынешней скоростью, то опасные уровни энергии будут достигнуты к 2100 году. Он показывает, что в течение всего ХХ века каждые 10 лет энергия, достигаемая на ускорителях, возрастала в 10 раз. И хотя сейчас обычные ускорители подошли к своему физическому пределу по размерам, есть принципиально другой способ достигать тех же энергий на установках размером с рабочий стол – речь идёт о разгоне частиц в ударной волне импульсного лазера. В тоже время программа СОИ предполагала создание импульсных лазеров колоссальной силы, запитывавшихся от ядерных взрывов. 
Дж. Лесли, будучи профессиональным астрофизиком, даёт подробный анализ различных теоретически возможных опасных экспериментов. Это:
1) Переход вакуума в новое метастабильное состояние. Есть гипотеза о том, что вакуум, будучи нулевым энергетическим уровнем всех физических полей, не является окончательным возможным таким уровнем. Точно так же уровень воды горного озера не является настоящим уровнем моря, хотя вода в озере может быть широкой и гладкой. И достаточно сильный всплеск волн в таком озере может привести к разрушению окружающих озеро барьеров, что приведёт к излиянию вод озера на уровень моря. Точно также, возможно, что достаточно высокоэнергетичный физический эксперимент может создать область вакуума с новыми свойствами, которая начнёт неограниченно расширяться. 
2) Образование объектов, состоящих из гипотетической кварковой материи, способной присоединять к себе атомы обычного вещества. Поскольку в её образовании играют важную роль так называемые «странные кварки», то могущая получиться в результате устойчивая материя называется ‘странной материи’, а её частицы – stranglets. Разработана идея установки, которая способна порождать и накапливать кусочки этой материи, а также использовать падение обычной материи на неё для получения энергии. К сожалению, авторы идеи ничего не говорят о том, что будет, если сгусток странной материи покинет ловушку и начнёт неограниченно поглощать вещество Земли. 
3) Искусственный Большой взрыв. Российский учёный А.Линде разработал теорию космологической инфляции, из которой следует, что начальная масса Вселенной составляла только 10-5 степени грамм, а вся остальная видимая масса образовалась в процессе расширения за счёт отрицательной энергии гравитации. Хотя мы не можем пока достичь необходимого уровня плотности энергии в наших лабораториях, чтобы повторно запустить этот процесс, сам требуемый уровень энергии невелик.
4) Опыты по изменению гравитации. Есть сообщения об опытах Подклетнова об изменении гравитации – но не могут ли такие опыты дестабилизировать столб вещества земной коры под установкой и вызвать землетрясение?
5) Конденсация холодных нейтронов в динейтроны и более крупные образования. Гипотетически может вызвать цепную реакцию конденсации всего земного вещества. 
6) Опасные геофизические эксперименты с глубоким бурением или проникновением сквозь кору, чреватые образованием сверхвулкана и дегазацией глубинных слоёв Земли.
7) Научное сообщество детально обсуждает риски образования микроскопических чёрных дыр, которые должны возникать при столкновении частиц на последних моделях ускорителей в ближайшем будущем. Образование микроскопической чёрной дыры, даже если она будет устойчива, не должно привести к немедленному засасыванию в неё всего вещества Земли, так как размеры её будут около размеров атома, а вокруг неё будет микроскопический аккреционный диск, который будет дозировать поступление вещества. Но такая микро-чёрная дыра неизбежно упадёт в сторону центра Земли, проскочит его и начнёт совершать колебательные движения. Если её масса будет достаточно велика, она может образовать тонкий канал, по которому сжатое вещество земных недр начнёт поступать на поверхность – а опыт разрушения плотин говорит, что достаточно даже тончайшего канала, чтобы он постепенно расширился. Неверно полагать, что С.Хокинг «доказал», что чёрные дыры испаряются. Хокинг предложил интересную теорию, никаких экспериментальных свидетельств в пользу которой нет. Есть альтернативные теории, с многомерным пространством, где микроскопические чёрные дыры имеют больший горизонт и не испаряются. Многие важные физические открытие были сделаны случайно, там, где их никто не искал, например, радиоактивность. Микро-чёрные дыры, которые могли бы образовываться при столкновении космических лучей с атмосферой, отличаются от дыр, которые будут создаваться в ускорителе, тем, что будут иметь ненулевой момент движения, и с большой скоростью улетать в пространство, не задерживаясь внутри планеты. Наоборот, дыры, возникающие в ускорителе, будут иметь момент, близкий к нулю за счёт взаимной нейтрализации моментов пучков и будут иметь гораздо большие шансы остаться в Земле.
8) Возникновение магнитного монополя на большом адроном колайдере в Церне. Магнитный монополь может ускорять распад протонов, приводя к огромному выделению энергии, однако в отчёте ЦЕРН по безопасности предполагается, что даже если такой монополь возникнет, он быстро покинет Землю. (Отчёт церн о коллайдере и проблемах его безопасности. STUDY OF POTENTIALLY DANGEROUS EVENTS DURING HEAVY-ION COLLISIONS AT THE LHC:REPORT OF THE LHC SAFETY STUDY GROUP http://doc.cern.ch/yellowrep/2003/2003-001/p1.pdf)
Погодовая вероятность опасного физического эксперимента растёт с течением времени, так как всё более высокоэнергетичные установки вводятся в строй и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Кроме того, растёт разнообразие возможных физических экспериментов, которые могут привести к глобальной катастрофе. 
Интересный вариант нового глобального риска предложен в статье (The Late Time Behavior of False Vacuum Decay: Possible Implications for Cosmology and Metastable Inflating States http://arxiv.org/abs/0711.1821 русский пересказ: «Астрономы разрушат Вселенную» http://www.gazeta.ru/science/2007/11/23_a_2333388.shtml ) В ней говорится, что скорость распада квантовых систем зависит оттого, наблюдаются они или нет (проверенный факт), а затем это обобщается на проблему наблюдения устойчивости вселенной как целого в связи с проблемой так называемой тёмной энергии. «Измерив плотность тёмной энергии, мы вернули её в начальное состояние, по сути, сбросив отсчёт времени. А в этом начальном состоянии вакуум распадается в соответствии с «быстрым» законом, и до критического перехода к «медленному» распаду ещё очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным её скорый распад».
Выводы: поскольку всегда в экспериментах имеет место доля риска, имело бы смысл отложить их до того момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе. 
2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия.
Хотя сами новые принципы неизвестны, можно очертить наиболее опасные черты любого абсолютного оружия. 
А) выделение огромного количества энергии
Б) способность к саморепликации
В) способность быстро действовать на всю территорию Земли.
Г) дешевизна и лёгкость производства в кустарных условиях.
Д) возможность достижения интеллектуального превосходства над людьми 
Е) способ управлять людьми
Любой физический эффект, способный породить технологию, соответствующую хотя бы одному из приведённых выше критериев, является потенциальным кандидатом в абсолютное оружие. 

2.10. РИСКИ, СВЯЗАННЫЕ С ОСВОЕНИЕМ КОСМИЧЕСКОГО ПРОСТРАНСТВА.
В этой главе мы обсудим все возможные применения космических технологий для уничтожения земной жизни.
2.10.1. Атака на Землю с помощью космического оружия.
Теоретически возможно облучение планеты с орбиты гамма-лучами (нечто вроде искусственного гамма-всплеска), нейтронами или другими опасными излучениями, проникающими сквозь атмосферу, что приведёт к стерилизации поверхности, с помощью специальных спутников или взрывов бомб. Возможно обрушение на планету дождя из роботов-метеоритов. В качестве космического оружия может применяться разгон космического корабля до околосветовой скорости и направление его на планету. Любой успех в создании высокоскоростных космических ракет и тем более звездолётов создаст мощнейшее оружие против планетной жизни, так как любой звездолёт можно разогнать и направить на планету. 
Облучение Земли возможно и при взрыве какой-нибудь экспериментальной установки на орбите, но только одного полушария. 
Мы можем освоить космос быстро с помощью саморазмножающихся роботов или нанороботов. Но при этом, дав им команду размножаться в космическом пространстве и строить для нас там огромные сооружения с использованием материала астероидов и Луны, мы можем потерять над ними контроль. Однако в этом случае опасности для Земли из космоса придут после того, как мощные робототехнические технологии будут созданы, а значит, после того, как эти технологии начнут угрожать нам на Земле.
Мы уже обсуждали выше проблемы отклонения астероидов.
Ещё один способ космической атаки – это развернуть в космосе гигантское зеркало, которое будет направлять на Землю солнечные лучи. Но сделать его без помощи самовоспроизводящихся роботов трудно, а защитится от него относительно легко, так что это очень маловероятный вариант.
Выводы: космические атаки маловероятны, потому что их перекрывают более быстрые процессы развития средств разрушения на Земле. Но терять из виду этот риск не стоит.
2.10.1. Ксенобиологические риски.
Риски, состоящие в том, что на Землю может быть занесена жизнь из космоса, рассматривались НАСА всерьёз, начиная с момента полёта на Луну. Хотя можно было утверждать, что поверхность Луны стерильна с очень высокой вероятностью, астронавты, вернувшиеся с Луны, были подвергнуты карантину. Это демонстрирует грамотный подход к рискам с очень низкой вероятностью, которые, однако, могут принести неограниченно большой ущерб. 
Предположения о том, что вирусы гриппа могут приходить к нам из хвостов комет является, очевидно, ложным, поскольку вирусы – это узкоспециализированные паразиты, которые не могут существовать без хозяев. Реальный риск мог бы представлять высоко всеядный микроорганизм с химической структурой, значительно отличающейся от земной, перед которым у земной биосферы не было бы защиты. По мере освоение космического пространства и организации возвращаемых экспедиций на различные космические тела, в том числе во время планируемой экспедиции на Марс, возрастает риск встретить такого незваного пришельца и по ошибке завезти на Землю. 
Вместе с тем, такой риск на порядки меньше риска создания на Земле аналогичного опасного микроорганизма или синтетической жизни (анимата).
Архипов на Украине исследует возможность так называемой «космической археологии» на Луне. Он предполагает, что Луна могла бы быть идеальным местом для поисков следов древних посещений земли космическими кораблями инопланетян и предлагает искать на Луне регулярные структуры, которые могли бы быть их следами. Таких следов по официальным данным пока обнаружено не было. Тем не менее, если мы когда-либо встретим следы другой цивилизации, они могут содержать опасные технологии, устройства или компьютерные программы. Подробнее этот вопрос обсуждается в главе «риски, связанные с SETI», и всё, что там сказано про SETI, может быть верно и относительно возможных успехов космической археологии. (Вернор Виндж описывает в своём романе «Пламя над бездной» именно такой сценарий, когда космическая археология привела к обнаружению и запуску опасной компьютерной программы, развившийся в сверхсильный искусственный интеллект и создавший риск глобальной катастрофы.)
Отдельной статьёй можно обозначить риск воскрешения опасных бактерий из древнего замороженного льда на Земле.
2.10.2. Столкновение с превосходящими нас разумными силами. 
И религиозные сценарии о втором пришествии, и идеи об инопланетянах, и идеи о том, что мы живём в мир, смоделированном разумными существами – все они имеют в виду, что есть превосходящие нас разумные силы, которые могут внезапно и необратимо вмешаться в нашу жизнь. Опять же трудно оценить вероятность такого рода событий из-за их нестатистической природы. И если мы можем уменьшить вероятность от любых экспериментов, просто запретив какие-либо эксперименты, то здесь от нас почти ничего не зависит. Чем шире человечество будет распространяться в пространстве и заявлять о себе, тем больше шанс, что рано или поздно оно кого-нибудь в нём встретит. Иначе говоря, вероятность встречи с другими разумными силами растёт. А по опыту земной истории, например, открытия Америки, мы знаем, что выдержать встречу с превосходящей культурой почти невозможно.
Здесь есть два варианта:
1) Внезапное столкновение с некой разумной силой по мере экспансии в космосе. Экспансия в космосе здесь подразумевает не только космические полёты, но и всё более дальнее прослушивание космоса радиотелескопами. См. далее главу риски SETI. 
2) Мы уже давно находимся под контролем или даже созданы некой разумной силой.
Один из вариантов такого сценария – это столкновение не с самими разумными силами, а с последствиями их деятельности. Например, если некая инопланетная цивилизация произвела опасный эксперимент, который её погубил, его последствия могут распространяться по Вселенной. Это может быть или распад метастабильного вакуума, как пишет Д.Лесли, или распространение примитивных всё пожирающих нанороботов. В качестве примера можно привести то, что Марс и спутники Юпитера уже подверглись риску заражения земными микроорганизмами от межпланетных станций – хотя самого человеческого разума на них нет, и ещё долго не будет. Иначе говоря, опасные побочные эффекты от разумной жизни в космосе могут распространяться гораздо быстрее, чем сам разум. 
Хотя у нас нет основания считать возможных инопланетян враждебными, принцип предосторожности заставляет нас допустить это. Наихудшим выражением враждебности было бы стремление таких инопланетян стерилизовать окружающий космос, например, чтобы в будущем не иметь конкурентов. Вероятность того, что именно в ближайшие 100 лет к нам прилетит экспедиция инопланетян, как это часто изображается в научной фантастике, очень мала, так как они могли прилететь и на сотни миллионов лет раньше или позже. Есть предположение, что такая враждебная цивилизация могла бы разбросать по всей галактики некие наблюдательные станции, названные в одном фантастическом романе «берсеркерами», которые в случае обнаружения радиосигналов от разумной жизни направляются к ней и атакуют её. Это предположение крайне маловероятно, так как, если цивилизация действительно продвинутая, она могла бы разбросать такие станции около каждой солнцеподобной звезды, и мы бы давно подверглись её атаке (но здесь нельзя исключить действия эффекта наблюдательной селекции, в силу которого мы могли дожить до XXI века только у той звезды, рядом с которой нет контролирующей станции, как бы мала ни была эта вероятность.)
Если мы живём в смоделированном мире (подробнее этот вопрос будет обсуждаться далее), то шансы того, что эту симуляцию «выключат», растут по мере того, как она становится всё более ресурсоёмкой. А она будет становиться более ресурсоёмкой по мере роста населения Земли, но особенно, когда люди начнут создавать свои компьютерами со своими симуляциями. Здесь срабатывает принцип: множество не может содержать само себя как подмножество. 
Другая возможная причина выключения симуляции – завершение её работы после выполнения поставленной задачи. О природе таких задач возможны разные предположения. Например, будущий суперинтеллект может быть заинтересован в исследовании того, каковы были шансы его возникновения, и в силу этого моделировать различные варианты развития технологической цивилизации. 
2.10.3. Риски, связанные с программой SETI.
SETI не относится к научной фантастике. Регулярные поиски внеземных сигналов идут с 60-х годов. В настоящий момент частный фонд ATA (http://www.seti.org/seti/projects/ata/ )планирует развернуть 350 радиотелескопов по всему земному шару с бюджетом в десятки миллионов долларов. Это означает, что если опасные сигналы в нашей галактике существуют, они могут быть пойманы в ближайшие несколько лет. Даже если они не будут содержать кода, направленного на уничтожение человечества, шок от такой встречи будет иметь значительные последствия для Земли. Программа поиска внеземных радиосигналов уже давно осознаётся как потенциально опасная. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этому существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт – ничтожно мала. (См. статью А.Зайцева «Sending and searching for interstellar messages» http://fire.relarn.ru/126/docs/iac_07_a4_2.02.pdf). В этой статье допускается, что не только активное SETI, то есть посылание сигналов в космос, но и пассивное SETI, то есть чистое слушание, может быть опасно, поскольку получение и расшифровка сообщений может дать опасные технологии в руки неподготовленных индивидов и организаций. Однако есть и более жёсткий вариант рисков, связанных со слушанием космоса, которые возникают, если допустить, что ИИ возможен, и базовая программа для него может быть переслана по радио.
Нет нужды говорить, что для радиотелескопов SETI верен свой закон Мура, который означает, что их характеристики возрастают во много раз каждые несколько лет (от проекта к проекту). Это означает, что шансы успешного SETI экспоненциально растут.
В данной рассматриваются риски, связанные с программой пассивного поиска инопланетных сигналов (SETI). В статье предлагается сценарий возможной уязвимости и обсуждаются причины, по которым доля опасных сигналов может быть велика. 
Идея о том, что пассивное SETI может быть опасно – не нова. Структурную схему инопланетной атаки через SETI сигналы предложил Хойл в своём романе «Андромеда». Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит генетический код. На основании этого кода выращивают разумное существо – девушку Андромеду, которая обещает продвинутые технологии военным. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Когда доверие к ней возрастает, её действия внезапно становятся враждебными, и её с трудом удаётся остановить. Этот сценарий остаётся фантастическим, потому что кажется невероятным, чтобы инопланетяне знали генетический код, уникальный для земной жизни, и, во-вторых, потому что мы не обладаем технологиями, позволяющими синтезировать новый живой организм по одному только его генетическому коду. Или, во всяком случае, не обладали ими вплоть до недавнего времени. Нынешние технологии прямого и обратного секвенсирования ДНК, а также успехи в создании изменённого кода ДНК с другим набором алфавита говорят о том, что ещё через 10 лет задача воссоздания живого существа по присланному из космоса коду была бы реализуема. Всё же маловероятно, что нам пришлют код живого разумного существа, так как оно было бы крайне уязвимо к неблагоприятным условиям - тем более, что есть более эффективные сценарии. 
Ганс Моравек в книге «Дети ума» (1988) предлагает новый вид уязвимости загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина. Примерно в этом же направлении развивается мысль Р.Кэрригена, который написал статью «SETI-хакер», где высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-home. Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно. Через некоторое время Кэрриген выпустил вторую статью – «Следует ли обеззараживать сигналы SETI?», переведённую мною на русский язык. В ней он указал на лёгкость передачи гигабайт данных на межзвёздные расстояния, а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от убеждения в возможности того, что инопланетный вирус заразит земные компьютеры напрямую, и без человеческой помощи. В качестве возможного подтверждения этой идеи он показал, что без труда возможен обратный инжиниринг языка компьютерной программы – то есть по тексту программы можно догадаться, что она делает и затем восстановить значение операторов. 
В 2006 году была написана статья Е.Юдковски «ИИ как позитивный и негативный фактор глобального риска», где он показал, что весьма вероятно возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
В начале предположим, что существует внеземная цивилизация, которая имеет цель послать такое сообщение, которое позволит ей установить власть над Землёй, и рассмотрим, как мог бы выглядеть такой сценарий. В следующей главе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация стала бы посылать такое сообщение.
Во-первых, отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие приводит к тому, что почти все компьютерные системы были взломаны (от Энигмы от Айпода). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI. Вместе с тем, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI. Во-вторых, я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более месяца размышлений. Сверхцивилизация с IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный и потом мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом. 
Итак, алгоритм атаки по SETI:
1. Отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, обёрнутая сферой Дайсона, в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния.
2. Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание в этому источнику. Этот источник предаёт некую бинарную (то есть последовательность 0 и 1) информацию. Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала по кругу.
3. Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо 7 раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам способным построить радиоприёмник. 
4. Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается яркий сигнал, повторяющийся у каждой строки, то есть через равные количества битов. Наконец в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так: 
0101011110101011111111111111111
0111101011111111111111111111111
1110011110000011111111111111111
Здесь сигналом строчной развёртки является последовательность из 25 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц. 
5. Очевидно, цивилизация отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
6. С помощью картинок и фильмов можно передать много информации, можно даже обучит языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы). 
7. Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (примерно так же можно было бы передать и логические элементы компьютеров)
8. Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно.
9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг совместимыми. То есть инопланетные компьютеры на базовом уровне совместимы со всеми земными. Тьюринг совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века была Тьюринг совместимой. 
10. Затем она начинает передавать программы для этого компьютера. Хотя этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди буду делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять триллионы операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро. 
11. С какой стати люди будут создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы. 
• Например, возможно следующее «честное предложение» - назовём его «гуманитарная помощь». Отправители сигнала SETI «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок», который поможет решить нам все медицинские и энергетические проблемы.
• «Соблазн абсолютной власти» - в этом сценарии он предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
• «Неведомая угроза» - в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку.
• «Неутомимый исследователь» - здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад.
12. Однако основная угроза от инопланетного послании с кодом – не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. А именно, допустим, в мире станет известно, что из галактики Андромеда исходит инопланетной послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны кинутся строить радиотелескопы и обшаривать ими галактику Андромеду, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там находится предложение о всемогущества. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут клясться, что не открывали опасный код и умолять других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные инопланетные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будут понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой, имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки. 
13. Поскольку у людей нет своего ИИ, они существенно недооценивают его силу и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание материальной инфраструктуры ИИ потребуется срок порядка недель. 
14. После этого люди ему не нужны для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить. 
15. После этого данный SETI-AI может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. Для этого он начнёт, вероятно, превращать материю солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на части. 

Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности. 
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, подстава. 
Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.
1. Мы не должны путать понятия о сверхцивилизации и сверхдоброй цивилизации. Более того, от сверх доброты тоже ничего хорошего ждать не стоит. Хорошее об этом написано у Стругацких в «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятны. А если SETI атака удалась, то её можно применить для «облагодетельствования» людей. 
2. Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли – уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI, связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и это именно этап уязвимости для SETI атаки. И вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI атака должна быть настроена именно на такую цивилизацию. 
3. Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI атаку.
4. Самое важное, состоит в том, что достаточно один раз начать SETI атаку, как она волной пойдёт по Вселенной, поражая всё новые наивные цивилизации. Например, если у нас есть миллион безвредных вирусов и один опасный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно. 
5. Далее, рассылка SETI сообщений будет приоритетом для поражённой SETI вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI только несколько десятков миллионов долларов, то есть порядка одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций. Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше ETI сигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую. 
6. Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в космические дали, откуда не может быть ответа. 
7. Более того, такой процесс может начаться случайно – например, в начале это был просто исследовательский проект, цель которого была в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом это процесс из-за неких сбоев или мутаций стал «раковым». 
8. Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы. 
9. Путешествие с помощью SETI атаки гораздо дешевле любых других способов. А именно, находясь в Андромеде, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.
10. Перечислю ещё несколько возможных целей SETI атаки навскидку, просто чтобы показать, что может быть много таких целей.
• Это делается для исследования вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.
• Это делается для того, что не возникло конкурирующих цивилизаций. Все их зародыши уничтожаются.
• Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом. 
• Это делается для того, чтобы подготовить базу к прилёту твердотельных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия. 
• Это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам будет непонятно, зачем американцы воткнули флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?)
11. Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас высотой в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна штука на галактику.
12. По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнутся на ETI сигнал растут нелинейно, а по быстро растущей кривой.
Выводы по SETI-угрозе. Наилучшей нашей защитой в данном контексте было бы то, что цивилизации встречались бы крайне редко. Однако это не совсем верно, потому что здесь парадокс Ферми срабатывает по принципу «оба хуже»:
• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать
• Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.
Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.
Поэтому я не призываю отказаться от поисков SETI, тем более что такие призывы бесполезны.
Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать факт получения опасного SETI сигнала, его суть и месторасположения источника.
С этим риском связан интересный методологический аспект. Несмотря на то, что я каждый день в течение последнего года размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только сейчас. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.

2.11. РИСКИ, СВЯЗАННЫЕ С РАЗМЫВАНИЕМ ГРАНИЦ МЕЖДУ ЧЕЛОВЕКОМ И НЕЧЕЛОВЕЧЕСКИМ.
Мощные процессы генетической модификации людей, протезирования всех частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно. 
2.11.1. Риски, связанные с проблемой «философского зомби».
«Философским зомби» называется некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби. 
Простой пример катастрофы, связанный с философским зомби состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и люди не согласятся. Однако рассмотрим более сложный пример – допустим у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно заменяющий её. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден – всегда найдутся те, кто будет в этом сомневаться и искать признаки «ненастоящести» исправленного человека.
Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать обычными настоящими людьми, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?
Ещё одной проблемой, угрозы от которой пока не ясны, является то, что человеческий ум не может порождать цели из ничего, не совершая при этом логической ошибки. Обычный человек обеспечен целями от рождения, и отсутствие целей у него скорее симптом депрессии, чем некого логического парадокса. Однако абсолютный ум, который постиг корни всех своих целей, может осознать их бессмысленность. 

2.12. ПРИРОДНЫЕ РИСКИ.

2.12.1. Геологические катастрофы.
Геологические катастрофы убивают в миллионы раз больше людей, чем падения астероидов, однако они, исходя из современных представлений, ограничены по масштабам. Но возможно, что есть механизмы выделения энергии и ядов из недр Земли, с которыми мы просто не сталкивались в силу эффекта наблюдательной селекции. 
2.12.2. Извержения сверхвулканов.
Вероятность извержения сверхвулкана равной интенсивности в 12 раз больше, чем вероятность падения астероида. Однако предотвратить это событие современная наука не в силах. (В будущем, возможно, удастся постепенно стравливать давление из магматических котлов, но это само по себе опасно, так как потребует сверление их крышек.)
Основная поражающая сила сверхизвержения – вулканическая зима. Она короче ядерной, так как частицы вулканического пепла тяжелее, но их может быть значительно больше. В этом случае вулканическая зима может привести к новому устойчивому состоянию – новому ледниковому периоду.
Крупное извержение сопровождается выбросом ядовитых газов – в том числе соединений серы. При очень плохом сценарии это может дать значительное отравление атмосферы. Это отравление не только сделает её малопригодной для дыхания, но и приведёт к повсеместным кислотным дождям, которые сожгут растительность и лишат людей урожаев. Возможны также большие выбросы диоксида углерода и водорода.
Наконец, сама вулканическая пыль опасна для дыхания, так как засоряет лёгкие. Люди легко смогут обеспечить себя противогазами и марлевыми повязками, но не факт, что их хватит для скота и домашних животных. Кроме того, вулканическая пыль попросту засыпает огромные поверхности, а также пирокластические потоки могут распространяться на значительные расстояния
Наконец, сверхвулканы порождают цунами. 
Всё это означает, что люди переживут извержение сверхвулкана, но оно со значительно вероятность отправит человечество на одну из постапокалиптических стадий.
Однажды человечество оказалось на грани вымирания из-за вулканической зимы, вызванной извержением вулкана Тоба 74000 лет назад. Однако современные технологии хранения пищи и строительства бункеров позволяют значительной группе людей пережить вулканическую зиму такого масштаба. 
Зато теперь люди обрели возможность сознательно вызывать извержения вулканов, разрушая их крышки ядерными зарядами. Наиболее уязвим к этому вулкан Йеллоустоун в США, толщина крышки которого – только 5 км и который и так уже достаточно давно не извергался, чтобы накопить значительную силу. 
В древности имели место колоссальные площадные извержения вулканов, которые затопили миллионы квадратных километров расплавленной лавой – в Индии на плато Декан во времена вымирания динозавров (возможно, спровоцировано падением астероида с противоположной стороны Земли, в Мексике), а также на Восточно-Сибирской платформе. Есть предположение, что усиление процессов водородной дегазации на русской равнине является предвестником появления нового магматического очага. 
Теоретический риск есть и от глубокого бурения. Оно тоже может вызывать извержение вулкана, если попасть в магматическую камеру. Затем вырывающаяся магма расширит проход. Так уже произошло в Индонезии, где случайно создали мощнейший грязевой вулкан.
В качестве наихудшего сценария можно представить одновременный подрыв или глубокое бурение всех супервулканов на Земле (их около 20).
Другую опасность представляет глубокое искусственное проникновение в мантию, где могут содержаться более горячие потоки магмы с большим количеством газа. Такое проникновение, по одному проекту, можно осуществить не бурением, а проплавлением мантии с помощью огромной капли расплавленного железа (тысячи тонн весом), возможно, с добавкой радиоактивных материалов для разогрева. Это предлагалось как способ исследования мантии. Такой способ крайне опасен, как отмечает в своей статье астрофизик Милан Чиркович, ибо может привести к колоссальному извержению. 
В 21 веке продолжится, возможно, наметившаяся переполюсовка магнитного поля Земли. Это понизит защиту Земли от космических лучей, гамма-всплесков, взрывов близких сверхновых и солнечного ветра. Особенно плохо будет, если мощная космическая вспышка совпадёт с минимумом магнитного поля Земли. Однако шансы такого сценария невелики, так как рядом нет потенциально опасных кандидатов в сверхновые и источники гамма-всплесков.
Также есть сомнительное предположение о возможности катастрофического растрескивания земной коры по линиям океанических разломов и мощных взрывов пара под корой.
Интересным остаётся вопрос о том, увеличивается ли общая теплота внутри Земли за счёт распада радиоактивных элементов, или наоборот, убывает за счёт охлаждения теплоотдачей. Если увеличивается, то вулканическая активность должна возрастать на протяжении сотен миллионов лет. (Азимов, связи с ледниковыми периодами: «По вулканическому пеплу в океанских отложениях можно заключить, что вулканическая деятельность в последние 2 миллиона лет была примерно в четыре раза интенсивнее, чем за предыдущие 18 миллионов лет».)
Вывод: даже если учесть наихудшие возможные последствия ошибки наблюдения, связанной с отбором наблюдателей, шанс глобальной катастрофы земного происхождения даёт один случай на несколько тысяч лет, то есть порядка 2 процентов на ближайшие сто лет. 
2.12.3. Падение астероидов. 
Падение астероидов и комет часто рассматривается как одна из возможных причин вымирания человечества. И хотя такие столкновения вполне возможны, шансы тотального вымирания в результате них, вероятно, преувеличиваются. 
Падение астероида Апофис, которое могло бы произойти в 2029 году (сейчас вероятность оценивается тысячными долями процента), никак не может погубить человечество. Размер астероида – около 400 метров, энергия взрыва – порядка 800 мегатонн, вероятное место падения – от Сибири до Венесуэлы, то есть, скорее всего, Тихий океан. Тем не менее, астероид вызвал бы цунами, равносильное индонезийскому 2004 года (только 1 процент энергии землетрясения переходит в цунами, а энергия землетрясения тогда оценивается в 30 гигатонн) по всему Тихому океану, что привело бы к значительным жертвам, но вряд ли бы отбросило человечество на постапокалиптическую стадию. 
2,2 миллиона лет назад комета диаметром 0,5-2 км (а значит, со значительно большей энергией) упала между южной Америкой и Антарктидой (Элталинская катастрофа). Волна в 1 км высотой выбрасывала китов в Анды. Тем не менее, австралопитеки, жившие в Африке, не пострадали. Даже падение астероида, который способствовал уничтожению динозавров и был ещё большего размера, не погубило многие виды животных. В окрестностях Земли нет астероидов размерами, которые могли бы уничтожить всех людей и всю биосферу. Однако кометы такого размера могут образоваться в облаке Оорта. 
Основным поражающим фактором при падении астероида стала бы не только волна-цунами, но и «астероидная зима», связанная с выбросом частиц пыли в атмосферу. Падение крупного астероида может вызвать деформации в земной коре, которые приведут к извержениям вулканов.
Кроме того, крупный астероид вызовет всемирное землетрясение.
Теоретически можно рассмотреть возможность сознательного направлению на Землю астероида. Однако в окрестностях нет подходящего астероида, который мог бы уничтожить всех людей. Хотя небольшой «камушек» на конкретную страну направить можно. В любом случае, есть более простые и дешёвые способы самоистребления. 
Более опасен сценарий интенсивной бомбардировки Земли множеством осколков. Тогда удар будет распределяться более равномерно и потребует меньшего количества материала. Эти осколки могут возникнуть в результате распада некого космического тела (см. об угрозе взрыва Калисто), расщепления кометы на поток обломков (Тунгусский метеорит был, возможно, осколком кометы Энке), в результате попадания астероида в Луну или в качестве вторичного поражающего фактора от столкновения Земли с крупным космическим телом. Это может произойти и в результате неудачной попытки сбить астероид с помощью атомного оружия. 
Падение астероидов может провоцировать извержение сверхвулканов, если астероид попадёт в тонкий участок земной коры или в крышку магматического котла вулкана, или если сдвиг пород от удара растревожит отдалённые вулканы. Расплавленные железные породы, образовавшиеся при падении железного астероида, могут сыграть роль «зонда Стивенсона», то есть проплавить земную кору и манию, образовав канал в недра Земли, что чревато колоссальной вулканической активностью. Хотя обычно этого не происходило при падении астероидов на Землю, лунные «моря» могли возникнуть именно таким образом. Кроме того, излияния магматических пород могли скрыть кратеры от таких астероидов. Такими излияниями являются Сибирские трапповые базальты и плато Декан в Индии. Последнее одновременно двум крупным импактам (Чиксулуб и кратер Шивы). Можно предположить, что ударные волны от этих импактов, или третье космическое тело, кратер от которого не сохранился, спровоцировали это извержение. Не удивительно, что несколько крупных импактов происходят одновременно. Например, ядрам комет свойственно состоять из нескольких отдельных фрагментов – например, комета Шумейкера-Леви, врезавшаяся в Юпитер в 1994 году, оставила на нём пунктирный след, так как к моменту столкновения уже распалась на фрагменты. Кроме того, могут быть периоды интенсивного образования комет, когда Солнечная система проходит рядом с другой звездой. (До ближайшего такого события – около 10 000 лет.)
Гораздо опаснее воздушные взрывы метеоритов в несколько десятков метров диметров, которые могут вызвать ложные срабатывания систем предупреждения о ядерном нападении.
Подробнее последствия падения астероидов на Землю можно посмотреть в статьях: Владислав Пустынский. «Последствия падения на Землю крупных астероидов» http://www.meteorite.narod.ru/proba/stati/stati58.htm и С.А.Вишневский (Институт минералогии и петрографии СО РАН) «Импактные события и вымирания организмов». http://www.meteorite.narod.ru/proba/stati/stati57.htm В последней статье делается вывод, что «астероид диаметром около 60 км может стать причиной гибели всех высокоорганизованных форм жизни на Земле.» Однако такого размера астероиды падают на Землю крайне редко, раз в миллиарды лет.
Пустынский в своей статье приходит к следующим выводам, с которыми я совершенно согласен: «Согласно оценкам, сделанным в настоящей статье, предсказание столкновения с астероидом до сих пор не гарантировано и является делом случая. Нельзя исключить, что столкновение произойдёт совершенно неожиданно. При этом для предотвращения столкновения необходимо иметь запас времени порядка 10 лет. Обнаружение астероида за несколько месяцев до столкновения позволила бы эвакуировать население и ядерно-опасные предприятия в зоне падения. 
Столкновение с астероидами малого размера (до 1 км диаметром) не приведёт к сколько-нибудь заметным общепланетным последствиям (исключая, конечно, практически невероятное прямое попадание в район скопления ядерных материалов). Столкновение с более крупными астероидами (примерно от 1 до 10 км диаметром, в зависимости от скорости столкновения) сопровождается мощнейшим взрывом, полным разрушением упавшего тела и выбросом в атмосферу до нескольких тысяч км3 породы. По своим последствиям это явление сравнимо с наиболее крупными катастрофами земного происхождения, такими как взрывные извержения вулканов. Разрушение в зоне падения будут тотальными, а климат планеты скачкообразно изменится и придёт в норму лишь через несколько лет (но не десятилетий и столетий!) Преувеличенность угрозы глобальной катастрофы подтверждается тем фактом, что за свою историю Земля перенесла множество столкновений с подобными астероидами и это не оставило доказано заметного следа в её биосфере (во всяком случае, далеко не всегда оставляло). Лишь столкновение с более крупными космическими телами (диаметром более ~15-20 км) может оказать более заметное влияние на биосферу планеты. Такие столкновения происходят реже, чем раз в 100 млн. лет, и у нас пока нет методик, позволяющих даже приблизительно рассчитать их последствия».
Выводы: вероятность гибели человечества в результате падения астероида в XXI веке крайне мала. По мере развития нашей цивилизации мы можем неограниченно её уменьшать. Однако крупные катастрофы возможны. Есть некоторый шанс засорения космического пространства крупными осколками в результате космической войны в будущем. 
2.12.4. Зона поражения в зависимости от силы взрыва.
Здесь мы рассмотрим поражающее действие взрыва в результате падения астероида (или по любой другой причине). Подробный анализ с аналогичными выводами см. в статье Пустныского. 
Зона поражения растёт очень медленно с ростом силы взрыва, что верно как астероидов, так и для сверхмощных атомных бомб. Хотя энергия воздействия падает пропорционально квадрату расстояния от эпицентра, при гигантском взрыве она падает гораздо быстрее, во первых, из-за кривизны Земли, которая как бы защищает то, что находится за горизонтом (поэтому атомные взрывы наиболее эффективны в воздухе, а не на земле), а во-вторых из-за того, что способность материи упруго передавать ударную волну ограничена неким пределом сверху, и вся энергия сверхтого не передаётся, а превращается в тепло в районе эпицентра. Например, в океане не может возникнуть волна выше его глубины, а поскольку эпицентр взрыва точечный, она затем будет убывать линейно в зависимости от расстояния. Избыточное тепло, образовавшееся при взрыве, или излучается в космос, или остаётся в виде озера расплавленного вещества в эпицентре. Солнце доставляет за сутки на Землю световую энергию порядка 1000 гигатонн (10**22 джоулей), поэтому роль теплового вклада сверхвзрыва в общую температуру Земли невелика. (С другой стороны, механизмом распространения тепла от взрыва будет скорее не потоки раскалённого воздуха, а выброшенные взрывом кубические километры осколков с массой, сопоставимой с массой самого астероида, но меньшей энергии, многие из которых будут иметь скорость близкой к первой космической, и в силу этого лететь по баллистическим траекториям, как летят межконтинентальные ракеты. За час они достигнут всех уголков Земли, и хотя они, действуя как кинетическое оружие, поразят не каждую точку на поверхности, они выделят при своём входе в атмосферу огромные количества энергии, то есть прогреют атмосферу по всей площади Земли, возможно, до температуры возгорания дерева, что ещё усугубит процесс.) Мы можем ориентировочно считать, что зона разрушения растёт пропорционально корню 4 степени от силы взрыва (точные значения определяются военными эмпирически в результате испытаний и лежат между степенями 0,33 и 0,25, при этом завися от сила взрыва, высоты, и т. д.). При этом каждая тонна массы метеорита даёт примерно 100 тонн тротилового эквивалента энергии – в зависимости от скорости столкновения, которая обычно составляет несколько десятков километров в секунду. (В этом случае каменный астероид в 1 куб. км. размером даст энергию в 300 Гигатонн. Плотность комет значительно меньше, но они могут рассыпаться в воздухе, усиливая удар, и, кроме того, движутся по крутым орбитам с гораздо большими скоростями.) Принимая, что радиус сплошного поражения от водородной бомбы в 1 мегатонну составляет 10 км., мы можем получить радиусы поражения для астероидов разных размеров. Например, для астероида в 1 куб.км это будет радиус в 230 км. Для астероида диаметром в 10 км это будет радиус в 1300 км. Для 100 км астероида это будет радиус поражения порядка 7000 км. Для того, чтобы этот радиус гарантированного поражения стал больше, чем половина широты Земли (20 000 км), то есть гарантированного покрывал всю Землю, астероид должен иметь размеры порядка 400 км. Хотя данные вычисления крайне приблизительны, из них видно, что даже тот астероид, который связывают с вымиранием динозавров, вовсе не поразил всю территорию Земли, и даже не весь континент, где он упал. (Этот астероид оставил кратер Чиксулуб радиусом 90 км, а сам был диаметром в 10 км.) А вымирание, если и было связано с астероидом (сейчас считается, что там сложная структура причин), то было вызвано не самим ударом, а последующим эффектом – «астероидной зимой», связанной с переносом пыли атмосферой. Также столкновение с астероидом может вызывать электромагнитный импульс, как у атомной бомбы. Кроме того, при скорости взаимного сближения близкой к 100 км/сек (комета на встречном курсе, наихудший расклад) в точке удара может возникнуть температура в миллионы градусов, как при имплозии в ядерной бомбе, и протекать термоядерные реакции. (Даже если вклад энергии этих реакций не будет велик, они могут дать вклад в радиоактивное заражение; но для этого комета должна попасть в воду или ледник. По моим подсчётам, температура водорода при скорости столкновения в 100 км.сек будет 600 000 градусов без учёта эффекта сжатия.) Удар может спровоцировать извержения вулканов по всей Земле. Однако не может существенно сместить земную ось. 
Отсюда видно, что атомная сверхбомба была бы страшна не силой своего взрыва, а количеством радиоактивных осадков, которые бы она произвела. Кроме того, видно, что земная атмосфера выступает в качестве мощнейшего фактора распространения воздействий, более сильного, чем взрыв.
2.12.5. Солнечные вспышки и увеличение светимости. 
То, что нам известно о Солнце, не даёт оснований для беспокойства. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке, корональному выбросу, которая сильно опалит Землю в XXI веке. Но у других звёзд бывают вспышки, в миллионы раз превосходящие солнечные. 
Процесс постепенного увеличения светимости Солнца (на 10 процентов каждые миллиард лет) приведёт к выкипанию океанов через срок в 0,2-1 млрд. лет (то есть гораздо раньше, чем Солнце станет красным гигантом и, тем более, белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не сложился вместе с другими процессами, ведущими к необратимому глобальному потеплению – см далее).
Далее, есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость Солнца (светимость растёт за счёт роста его размеров, а не температуры поверхности), но и нестабильность его горения. Возможно, что последние ледниковые периоды связаны с этим уменьшением стабильности горения. Это понятно на следующей метафоре: когда в костре много дров, он горит ярко и устойчиво, но когда большая часть дров прогорает, он начинает то немного гаснуть, то ярко вспыхивать снова, когда находит несгоревшую ветку.
Уменьшение концентрации водорода в центре Солнца может спровоцировать такой процесс как конвекцию, которая в Солнце обычно в ядре Солнца не происходит, в результате чего в ядро поступит свежиё водород. (Шкловский) Возможен ли такой процесс, будет ли он плавным или катастрофическим, займёт ли годы или миллионы лет, трудно сказать. Шкловский предполагал, что в результате конвекций температура Солнца падает каждые 200 млн. лет на период порядка 10 млн., и что мы живём в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость солнца возрастёт. (Однако это маргинальная теория, и одна из основных проблем, которая её породила – проблема солнечных нейтрино, в настоящий момент разрешена)
Важно, однако, подчеркнуть, что как сверхновая или новая Солнце, исходя из наших физических представлений, вспыхнуть не может.
Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на несколько 10-20 градусов без парникового эффекта, но с учётом парникового эффекта бы скорее всего оказалось выше критического порога необратимого потепления). Такие медленные и редкие изменения температуры звёзд солнечного типа было бы трудно заметить астрономическими методами при наблюдении солнцеподобных звёзд – поскольку только недавно достигнута необходимая точность оборудования. (Кроме того, возможен логический парадокс следующего вида: солнцеподобные звёзды – это стабильные звёзды спектрального класса G7 по определению. Не удивительно, что в результате их наблюдения мы обнаруживаем, что эти звёзды стабильны.)
Итак, один вариант глобальной катастрофы состоит в том, что в результате неких внутренних процессов светимость Солнца устойчиво возрастёт на опасную величину (и мы знаем, что рано или поздно это произойдёт). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было.
Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что сложатся два маловероятных события – на Солнце произойдёт очень крупная вспышка и выброс этой вспышки будет направлен на Землю. В отношении распределения вероятности такого события можно предположить, что здесь действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20 кратный рост энергии события приводит к 10 кратному снижению его вероятности (закон повторяемости Гутенберга–Рихтера). Очевидно, что в случае солнечных вспышек это крайне малая величина. 
Крупные солнечные вспышки, даже если они не будут направлены на Землю, могут увеличить солнечную светимость и привести нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента).
В настоящий момент человечество неспособно как-либо повлиять на процессы на Солнце, и это выглядит гораздо более сложным, чем воздействие на вулканы. Идеи сброса водородных бомб на Солнце для инициирования термоядерной реакции выглядят неубедительно (но высказывались, что говорит о неутомимых поисках человеческим умом оружия судного дня).
Только некие новые и невероятные открытия в физике могли бы позволить создать средства влияния на звезду. Из фантастических вариантов: сбросить на звезду планету, что изменит степень её металличности, сделав менее прозрачной для излучения и изменить её светимость. Создать миниатюрную черную дыру и сбросить на Солнце. Научиться управлять физическими константами и повлиять на вероятностное распределение ядерных реакций в Солнце (как в романе Азимова «Сами боги»).
Есть довольно точный просчитанный сценарий воздействия на Землю магнитной составляющей солнечной вспышки. При наихудшем сценарии (что зависит от силы магнитного импульса и его ориентации – он должен быть противоположен земному магнитному полю) она приведёт сильнейшим наводкам в электрических цепях линий дальней передачи электроэнергии, что приведёт к выгоранию трансформаторов на подстанциях. В нормальных условиях обновление трансформаторов занимает 20-30 лет, и если все они сгорят, то заменить их будет нечем, поскольку потребуются многие годы на производство аналогичного количества трансформаторов, что будет трудно организовать без электричества. Такая ситуация вряд ди приведёт к человеческому вымиранию, но чревата мировым глобальным экономическим кризисом и войнами, что может запустить цепь дальнейшего ухудшения. 
Выводы: вероятность опасных событий на Солнце не превышает тысячных долей процента в XXI веке. 
2.12.6. Гамма-всплески.
Возможно, гамма-всплески послужили причинами нескольких вымираний десятки и сотни миллионов лет назад. Гамма-всплески происходят при столкновениях чёрных дыр и нейтронных звёзд или коллапсах массивных звёзд. Они могут вызывать разрушение озонового слоя и даже ионизацию атмосферы. Однако в ближайшем окружении Земли нет подходящих кандидатов ни на источники гамма-всплесков, ни на сверхновые (ближайший кандидат в гамма-всплески – Эта Карины – достаточно далеко, и её магнитные полюса, видимо, не направлены на Землю). Поэтому, даже с учётом эффекта отбора наблюдателей, который увеличивает частоту катастроф в будущем по сравнению с прошлым в некоторых случаях до 10 раз (см. мою статью «Природные катастрофы и антропный принцип») вероятность опасного гамма-всплеска в 21 веке не превышает тысячных долей процента. Тем более, люди смогут пережить даже серьёзный гамма-всплеск в различных бункерах. 
Опасность гамма-всплеска в его внезапности – он начинается без предупреждения из невидимых объектов и распространяется со скоростью света. Кроме того, это настолько мощное природное явление, что он может быть порождён некими неизвестными нам процессами даже в других галактиках – например, слиянием двух галактических чёрных дыр). То есть с увеличением расстояния энергия гамма-всплесков падает пропорционально квадрату расстояния, но вероятность того, что в этот объём входят способные породить сверхмощный всплеск объекты, растёт пропорционально кубу расстояния (объём). Таким образом, угроза гамма-всплесков растёт пропорционально радиусу наблюдаемой Вселенной. Радиус этот постоянно растёт – всё больше дальних галактик становится видимым, но за счёт красного смещения дальние гамма-всплески существенно ослабляются. 
В любом случае, гамма всплеск может поразить только одно полушарие Земли.
Подобные же рассуждения верны для очень маловероятного события – столкновения с релятивистской частицей сверхвысоких энергий, энергия которой достаточная, чтобы произвести сильный взрыв. (Однако у распределения частиц космических лучей по энергиям по энергиям «тяжёлый хвост» и происхождение этих частиц не очень понятно.)
Активизация ядра галактики (где сидит огромная чёрная дыра) тоже очень маловероятное событие. В далёких молодых галактиках такие ядра активно поглощают вещество, которое закручивается при падении в аккреционный диск и интенсивно излучает. Это излучение очень интенсивно и может препятствовать возникновению жизни на планетах. Однако ядро Нашей галактики очень велико и поэтому может поглощать звёзды почти сразу, не разрывая их на части, а значит, с меньшим излучением. Кроме того, оно вполне наблюдаемо (Стрелец А), и рядом нет большого количества вещества, готового к поглощению – только одна звезда на орбите с периодом в 5 лет, но и ей ещё долго осталось. И главное, оно очень далеко от Солнечной системы.
2.12.7. Сверхновые.
В окрестностях Солнца нет звёзд, которые могли бы стать опасными сверхновыми. (Ближайшие кандидаты – Мира и Бетельгейзе – находятся на расстоянии сотен световых лет.) Кроме того, излучение сверхновой является относительно медленным процессом (длится месяцы), и люди могут успеть спрятаться в бункеры. Наконец, только если опасная сверхновая будет строго в экваториальной плоскости Земли (что маловероятно), она сможет облучить всю земную поверхность, в противном случае один из полюсов уцелеет.
2.12.8. Глобальное потепление. 
Глобальное потепление связано как с рядом естественных природных процессов, так и с «суммой технологий», созданных человеком, поэтому к чисто природным рискам его можно отнести только условно.
Ограниченное глобальное потепление на несколько градусов не приведёт к вымиранию человечества, поскольку даже таяние ледников в прошлом не привело к гибели всех людей. Поэтому призывы к экономии электричества как к способу спасения мира являются определённой натяжкой, которая только подрывает доверие к самой идее об опасности потепления.
Одной из довольно маргинальных, но принимаемой несколькими исследователями возможностью глобальной катастрофы является неограниченно расширяющийся парниковый эффект (runaway greenhouse effect). В отличие от продвигаемой средствами массовой информации концепции парникового эффекта, которая утверждает, что при худшем сценарии температура Земли возрастёт на 2 градуса и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи и температура Земли возрастёт на десятки и сотни градусов, делая жизнь на Земле невозможной. Это связано с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парниковым газом – а запасы готовой испаряться воды на Земле неограниченны. Кроме того, постепенное увеличение светимости Солнца, увеличение длины земных суток, накопление углекислого газа и снижение растворимости углекислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта – разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана – сильнейшего парникового газа. Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло несколько десятков миллионов лет назад, когда температура Земли повысилась на несколько тысяч лет примерно на 10 градусов. Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температуры составляет более 400 С. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.
Выводы: Развитая цивилизация легко сможет противостоять изменениям климата, например, распыляя разные порошки в верхних слоях атмосферы, чтобы охладить её или подогреть. Наихудший сценарий подразумевает ситуацию, когда процесс необратимого нагревы атмосферы начался (при этом сам подъём температуры ещё может быть невелик, главное – формирование цепочек положительной обратной связи), а затем цивилизация утратила по каким-то свои внутренним причинам способность к высокотехнологическому регулированию климата, откатилась к более раннему уровню. Тогда она может быть окончательно повержена необратимым нагревом атмосферы, который произойдёт через десятки лет после технического коллапса.
2.12.9. Сверх-цунами.
Древняя человеческая память в качестве самой страшной катастрофы доносит воспоминания о колоссальном наводнении. Однако на Земле нет такого количества воды, чтобы уровень океана поднялся выше гор. (Сообщения о недавнем открытии подземных океанов несколько преувеличены – в действительности речь идёт о просто о горных породах с повышенным содержанием воды – на уровне 1 процента.) 
Средняя глубина мирового океана – около 4 км. И предельная максимальная высота волны такого же порядка – если обсуждать саму возможность волны, а не то, возможны ли причины, которые создадут волну такой высоты. Это меньше, чем высота высокогорных плато в Гималаях, где тоже есть люди. Варианты, когда такая волна возможна – это гигантская приливная волна, возникшая бы, если бы рядом с Землёй пролетало бы очень массивное тело, или если бы ось вращения Земли сместилась бы или скорость вращения изменилась бы. Все эти варианты, хотя и встречаются в разных «страшилках» о конце света, выглядят невозможными или маловероятными.
Итак, очень маловероятно, что гигантское цунами уничтожит всех людей - тем более, что уцелеют подводные лодки, многие корабли и самолёты.
Однако гигантское цунами может уничтожить значительную часть населения Земли, переведя человечество в постапокалиптическую стадию, по ряду причин:
1. Энергия цунами, как поверхностной волны, убывает пропорционально 1/R, если цунами вызвано точечным источником, и почти не убывает, если источник линейный.
2. Потери на передачу энергии волной малы.
3. Значительная доля населения Земли и огромная доля её научного и промышленного и сельскохозяйственного потенциала находится непосредственно на побережье.
4. Все океаны и моря связаны.
5. Идее использовать цунами как оружие уже возникала в СССР в связи с идеей созданий гигатонных бомб.
Плюсом здесь является то, что наиболее опасные цунами порождаются линейными источниками – движениями геологических разломов, а наиболее доступные источники цунами – точечные: взрывы бомб, падения астероидов, обвалы. 
2.12.10. Сверх-землетрясение.
Назовём сверхземлетрясением колебания поверхности, приводящие к полным разрушениям и охватывающим всю поверхность Земли. Такое событие не могло бы убить всех людей, так как остались бы корабли, самолёты, и люди на природе. Но оно бы однозначно бы разрушило всю техногенную цивилизацию. 
Откуда бы могло взяться такое сверхземлетрясение? 
• Взрыв супервулкана
• Падение астероида (ов)
• Взрыв сверхбомбы
• Растрескивание Земли по линии океанических хребтов
• Неизвестные процессы в ядре Земли.

При равной энергии, сверхземлетрясение будет менее опасно, чем сверх-цунами, так как его энергия будет распределена по объёму. 
Выдвигалось маргинальное предположение, что при землетрясении могут возникать не только сдвиговые деформации, но и сверхзвуковые ударные волны. 
2.12.11. Переполюсовка магнитного поля Земли.
Почему-то нам так повезло, что мы живём в период ослабления и последующей переполюсовки магнитного поля Земли. Возможно, это нормальные колебания, а может быть, это одно из проявлений того следствия антропного принципа, который делает вероятным для наблюдателей обнаруживать себя в конце периодов устойчивости. 
Я думаю, что сама по себе инверсия не приведёт к вымиранию людей, так как это уже многократно происходило в прошлом. Однако одновременное сочетание трёх факторов - падения до нуля магнитного поля Земли, истощение озонового слоя и сильной солнечной вспышки приведёт к краху все электрические системы, что чревато крахом технологической цивилизации. И даже на сам это крах страшен, а то, что будет в его процессе с ядерным оружием и всеми прочими технологиями. Всё же магнитное поле убывает достаточно медленно, так что вряд ли оно обнулится в ближайшие несколько десятков лет.
Другой катастрофический сценарий - это то, что изменение магнитного поля связано с изменениями потоков магмы в ядре, что как-то может аукнуться на глобальной вулканической активности (видел данные по корреляции периодов активности и периодов смены полюсов).
Третий риск - это то, что, вдруг, мы не правильно понимаем причины существования магнитного поля Земли. Например, оно связано вовсе не с потоками лавы, а с микроскопической чёрной дырой в центре земли или сгустком частиц тёмной материи. Если так, то эти объекты способны на неожиданное поведение.
2.12.13. Возникновение новой болезни в природе.
Крайне маловероятно, что появится одна болезнь, способная за раз уничтожить всех людей. Даже в случае мутации птичьего гриппа или бубонной чумы будут выжившие и не заболевшие. Однако поскольку число людей растёт, то растёт и число «природных реактор» в которых может культивироваться новый вирус. Поэтому нельзя исключить шансы крупной пандемии в духе «испанки». Хотя такая пандемия не сможет убить всех людей, она может серьёзно повредить уровень развития общества, опустив его на одну из постапокалптических стадий. 
Такое событие может случиться только до того, как созреют мощные биотехнологии, так как они смогут создавать достаточно быстро лекарства против него – и одновременно затмят естественные болезни возможностью с гораздо большей скоростью создавать искусственные.
Естественная пандемия возможна и на одной из постапокалптических стадий, например, после ядерной войны, хотя и в этом случае риски применения биологического оружия будут преобладать. 
Чтобы естественная пандемия стала действительно опасной для всех людей, должно возникнуть одновременно множество принципиально разных смертельных возбудителей – что естественным путём маловероятно.
Есть также шанс, что мощные эпизоотии – синдром коллапса колоний пчёл, африканский грибок на пшенице, птичий грипп и подобные – нарушат систему питания людей настолько, что это приведёт к мировому кризису, чреватому войнами и снижением уровня развития. 
2.12.14. Маргинальные природные риски.
В этом разделе мы упомянем о глобальных рисках, связанных с природными событиями, вероятность которых в 21 веке крайне мала, и более того, сама возможность которых является необщепризнанной. Хотя я сам полагаю, что эти события можно не принимать в расчет, и они вообще невозможны, я думаю, что следует создать для них отдельную категорию в нашем досье о рисках, чтобы, из принципа предосторожности, сохранять определённую бдительность в отношении появления новой информации, могущей подтвердить эти предположения.
2.12.15. Переход вакуума в состояние с более низкой энергией.
По расчетам Бострома и Тегмарка вероятность подобной общевселенской катастрофы, даже если она физически возможна, – меньше 1 процента в ближайший миллиард лет. Это даёт шанс меньше, чем 1 к миллиарду, что она случится в XXI веке. Тоже относится к столкновению бран (поверхностей в многомерном пространстве в теории струн) и любым другим сценариям вселенских катастроф естественного происхождения.
2.12.16. Неизвестные процессы в ядре Земли.
Есть предположения, что источником земного тепла является естественный ядерный реактор на уране в центре планеты [Анисичкин, 1998 http://www.vniitf.ru/rig/konfer/5zst/Section2/2-4r.pdf ]. При определённых условиях - например, при столкновении с крупной кометой – он может перейти в надкритическое состояние и вызвать взрыв планеты, что, возможно, и было причиной взрыва Фаэтона, из которого, возможно, сформировался пояс астероидов. Опасные опыты с нейтронами или нейтрино также могли бы дестабилизировать его. Другой, зарубежный, автор Мартин Хердрон предполагает, что естественный ядерный реактор в центре Земли имеет диаметр в 8 км и может остыть и перестать создавать земное тепло и магнитное поле. (http://arxiv.org/pdf/hep-ex/0208038)
Если по геологическим меркам некие процессы уже назрели, то это означает, что гораздо проще нажать на «спусковой крючок», чтобы запустить их – и значит, человеческая деятельность может разбудить их.
Процессы в ядре в прошлом, возможно, стали причинами таких грозных явлений, как трапповый вулканизм. На границе пермского периода 250млн. лет назад в Восточной Сибири излилось 2 млн. кубических км. лавы, что в тысячи раз превышает объёмы извержений современных супервулканов. Это привело к вымиранию 95 процентов видов. 
До границы земного ядра около 3000 км, а до Солнца 150 000 000 км. От геологических катастроф каждый год гибнут десятки тысяч людей, а от солнечных катастроф – никто. Прямо под нами находится гигантский котёл с расклеенной лавой, прописанной сжатыми газами.
Процессы в ядре также связаны с изменениями магнитного поля Земли, физика чего пока не очень понятна. Красилов предполагает, что периоды неизменности, а затем изменчивости магнитного поля Земли предшествуют колоссальным трапповым излияниям. (Красилов В.А. Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm). Сейчас мы живём в период изменчивости магнитного поля, но не после длительной паузы. Периоды изменчивости магнитного поля длятся десятки миллионы лет, сменяясь периодами стабильности в десятки миллионов. (Есть также маргинальная теория о том, что увеличение дегазации водорода на Русской равнине связано с выходом на поверхность новой горячей точки, то есть магматического плюма, идущего от земного ядра.) Так что при естественном ходе событий у нас есть миллионы лет до следующего проявления траппового вулканизма, если он вообще будет, что означает вероятность порядка 0,01 процента на столетие. Основная опасность здесь состоит в том, что люди любыми своими проникновениями вглубь Земли могут эти процессы подтолкнуть, если степень их готовности достигла около критического уровня. (Однако трапповые излияния не являются излияниями вещества самого ядра Земли – тяжёлого железа, а являются движением вверх разогретых теплом ядра частей мантии.) 
В жидком земном ядре наиболее опасны растворённые в нём газы. Именно они были бы способны вырваться на поверхность, если бы им представился канал. По мере осаждения тяжёлого железа вниз, оно химически очищается (восстановление за счёт высокой температуры), и всё больше количество газов высвобождается, порождая процесс дегазации Земли. Есть предположения, что мощная атмосфера Венеры возникла относительно недавно в результате интенсивной дегазации её недр. 
Определённую опасность представляет соблазн получать даровую энергию земных недр, выкачивая раскалённую магму, хотя если это делать в местах, не связанных с плюмами, то это должно быть достаточно безопасно. 
Есть предположение, что спреддинг океанического дна из зон срединных хребтов происходит не плавно, а рывками, которые с одной стороны, гораздо реже, чем землетрясения в зонах субдукукции, а с другой – гораздо мощнее. Здесь уместна следующая метафора: энергия разрыв воздушного шарика гораздо большее мощный процесс, чем его сморщивание.
Ещё есть околонаучная теория о том, что таяние ледникового щита Гренландии приведёт к разгрузке её ложа и сильным землетрясениям, а также к гигантским паровым взрывам воды, оказавшейся на глубине. И это запустит процесс разрыва по Атлантическому срединному хребту.
Наконец, есть смелые предположения, что в центре Земли (а также других планет и даже звёзд) находятся микроскопические (по астрономическим масштабам) реликтовые чёрные дыры, которые возникли ещё во время возникновения вселенной. (http://www.chronos.msu.ru/RREPORTS/parkhomov_o_vozmozhnykh.pdf и http://www.astronomy.ru/forum/index.php/topic,23957.0.html)
По теории С.Хокинга реликтовые дыры должны медленно испаряться, однако с нарастающей скоростью ближе к концу своего существования, так что в последние секунды такая дыра производит вспышку с энергией, эквивалентной примерно 1000 тонн массы ( и в последнюю секунду 228 тонн) (что примерно эквивалентно энергии 20 000 гигатонн тротилового эквивалента – она примерно равна энергии от столкновения Земли с астероидом в 10 км в диаметре (http://en.wikipedia.org/wiki/Hawking_radiation)). Такой взрыв не разрушил бы планету, но вызвал бы по всей поверхности землетрясение огромной силы, вероятно, достаточное, чтобы разрушить все строения и отбросить цивилизацию на глубокий постапокалиптический уровень – однако люди бы выжили, хотя бы те, что был бы в самолётах и вертолетах в этот момент. 
Микрочёрная дыра в центре Земли испытывала бы одновременно два процесса – аккреции вещества и потери хокинговским излучением, которые могли бы находиться в равновесии, однако сдвиг равновесия в любую сторону был бы чреват катастрофой – или взрывом дыры, или поглощением Земли или разрушением её за счёт более сильного выделения энергии при аккреции. Чёрная дыра в центре Земли могла бы также служить источником магнитного поля Земли и причиной его изменчивости. Может быть также несколько микрочёрных дыр, вращающихся вокруг друга. Напоминаю, что нет никаких фактов, подтверждающих существование реликтовых чёрных дыр. 
2.12.17. Взрывы других планет Солнечной системы. 
Есть другое предположение о причинах возможного взрыва планет, помимо взрывов урановых реакторов в центре планет по Анисичкину, а именно, особые химические реакции в ионизированном льде. Дробышевский (Дробышевский 1999) предполагает, что такого рода события регулярно происходят в ледяных спутниках Юпитера, и для Земли они опасны образованием огромного метеоритного потока. Он предполагает, что во всех спутниках эти процессы уже завершились, кроме Каллисто, который может взорваться в любой момент и предлагает направить на исследование и предотвращение этого явления значительные средства. (Стоит отметить, что в 2007 году взорвалась, причём повторно, комета Холмса, и никто не знает почему.)
В любом случае, чем бы не было вызвано разрушение другой планеты в или крупного спутника в Солнечной системе, этот представляло бы длительную угрозу земной жизни за счёт выпадения осколков. 
2.12.18. Немезида. 
Есть гипотеза, что на периферии Солнечной системы находится невидимая звезда или крупная планета, которая вращается по сильно эллиптической орбите и своим гравитационным возмущением регулярно приводит к биологическим кризисам на Земле. Регулярность эта может быть раз в миллионы лет (так, Проксима Центавра обращается вокруг Альфа за миллионы лет). Однако изучение орбит тел в поясе Койпера за орбитой Плутона не обнаружили влияний крупного тела. Если бы такое тело было бы на подлёте к Солнцу, то его бы скорее всего обнаружили за десятки лет.
Другой опасный вариант, связанный с Немезидой, состоит в том, что она не приближается к Земле, а только углубляется иногда в облако Орта, провоцируя регулярные выпадения комет. Но и это крайне медленный процесс, так что он не угрожает нам в XXI веке.
Наконец, упоминалась вероятность того, что Солнечная система войдёт в плотное газопылевое облако, которое значительно ослабит свет Солнца. Но в ближайших окрестностях Солнечной системы такого облака нет. 
2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип. 
Подробно я рассматриваю этот вопрос в статье «Природные катастрофы и антропный принцип». Суть угрозы в том, что для формирования разумной жизни на Земле должно было сложиться уникальное сочетание условий, которые действовали в течение длительного времени. Однако из этого нисколько не следует, что они будут продолжать действовать. Соответственно, в будущем мы можем ожидать, что постепенно эти условия исчезнут. Скорость этого процесса зависит от того, насколько невероятным и уникальным было сочетание условий, позволивших сформироваться разумной жизни на Земле. Чем невероятнее такое сочетание, тем быстрее оно может закончиться. Для внешнего наблюдателя этот процесс будет выглядеть как внезапное и беспричинное ухудшение многих жизненно важных параметров, поддерживающих жизнь на Земле. (Можно привести такой пример из обычной жизни для этой ситуации: если мы выбираем произвольного человека, то математическое ожидание его оставшейся продолжительности жизни равно половине средней продолжительности жизни людей, то есть примерно 40 лет. Однако если мы возьмём множество профессоров университетов, то в нём ожидаемая продолжительность жизни будет меньше, так как в среднем требуется 40-50 лет, чтобы стать профессором. Разумная жизнь на Земле является «профессором» по отношению к другим видам.)
Рассматривая этот и подобные примеры, можно предположить, что данный эффект увеличивает вероятность внезапных природных катастроф, способных оборвать жизнь на Земле, в 10 раз. 
Этот эффект действует и в меньших масштабах, когда относится не ко всей жизни на Земле, а к появлению человека разумного и к возникновению непрерывной письменной традиции.
Например, колоссальное извержение вулкана Тоба, поставившее человечество на грань вымирания, произошло 74000 лет назад, и по статистическим соображениям в духе формулы Готта шансы на повторное извержение аналогичного масштаба в следующем году имеют порядок 1/ 100 000. Если же учесть нашу поправку, то это будет 1 к 10 000, или 1 процент за 100 лет. 
И хотя сейчас сверхизвержение масштабов Тобы не приведёт к неизбежному вымиранию человечества, оно может разрушить современную цивилизацию, переведя её на постапокалиптическую стадию – и полностью погубить цивилизацию, если она уже окажется к этому моменту на постапокалиптической стадии. 
Этот вероятностный сдвиг связан с тем, что разумная жизнь скорее зародится после длительного периода отсутствия прерывающих её развитие природных катастроф, а не в случайный момент между природными катастрофами. Мы ещё вернёмся к обсуждению этого эффекта в главе о вычислении непрямых оценок вероятности глобальной катастрофы в конце книги. 
2.12.20. Ослабление устойчивости и человеческие вмешательства.
Вклад этого ослабления устойчивости в суммарную вероятность, казалось бы, мал. А именно, если Солнце будет поддерживать комфортную температуру на Земле не 4 млрд. лет, а только 400 млн., то в XXI веке это всё равно десятитысячные доли процента. (0, 0004%). Однако ослабление устойчивости, которую нам давал антропный принцип, означает, что сами процессы станут менее устойчивыми и более склонными к колебаниям (что вполне известно относительно Солнца, которое будет гореть, по мере исчерпания водорода, всё более неравномерно), а во-вторых, что кажется более важным, - они станут более чувствительным к возможным малым человеческим воздействиям. То есть одно дело дёргать за висящую резинку, а другое – за резинку, натянутую до предела.
Например, если некое извержение сверхвулкана назрело, то могут пройти ещё многие тысячи лет, пока оно произойдёт, но достаточно скважины в несколько километров глубиной, чтобы нарушить устойчивость крышки магматической камеры. Поскольку масштабы человеческой деятельности растут во всех направлениях, возрастают шансы наткнуться на такую неустойчивость. Это может быть и неустойчивсоть вакуума, и земной литосферы, и чего ещё, о чём мы даже не думаем.
2.13. ВИДОВЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ.
2.13.1. Исчерпание ресурсов.
Широко распространено мнение о том, что цивилизация обречена из-за исчерпания легкодоступных углеводородов. В любом случае, это само по себе не приведёт к вымиранию всего человечества. Однако это создаст существенные проблемы, если нефть закончится раньше, чем общество успеет к этому адаптироваться – то есть закончится быстро. Однако запасы каменного угля огромны, а технология производства жидкого топлива из него активно применялась ещё в гитлеровской Германии. Огромные запасы гидрата метана находятся на морском дне, и эффективные роботы могли бы его добывать. И существующих технологий ветроэнергетики, преобразования солнечной энергии и подобных в целом достаточно, чтобы сохранить развитие цивилизации, хотя возможно определённое снижение жизненного уровня, а худшем случае – и значительное снижение популяции, но не полное вымирание. 
Иначе говоря, Солнце и ветер содержат энергию, которая в тысячи раз превосходит потребности человечества, и мы в целом понимаем, как её извлекать. Вопрос не в том, хватит ли нам энергии, а в том, успеем ли мы ввести в строй необходимые мощности по её извлечению до того, как нехватка энергии подорвёт технологические возможности цивилизации при неблагоприятном сценарии.
Кроме того, завершение исчерпания ресурсов находится за горизонтом прогноза, который устанавливается темпом научно-технического прогресса. (Но момент изменения тенденции – Peak Oil – находится внутри этого горизонта.) Только предположив полную остановку прогресса в области робототехники и нанотехнологий можно строить точные прогнозы о том, когда и какие ресурсы исчерпаются. Вопрос в том, может ли начало исчерпания ресурсов и сопутствующий кризис настолько подорвать развитие технологий – и этот вопрос мы обсудим в главе про системный кризис.
Выводы: более быстрые процессы перекрывают более медленные. Поэтому исчерпание ресурсов не следует рассматривать как реальный риск окончательной глобальной катастрофы в текущей момент времени. Однако он может проявить себя как один из факторов в случае более сложных сценариев. 
2.13.2. Перенаселение.
Очевидно, что перенаселение само не может никого истребить, но может создать условия, при которых будет наблюдаться нехватка любых ресурсов и обострятся любые конфликты. При этом нам нужно учитывать не только людей, но и их машины и уровень жизни. Автомобиль, который стоит в гараже, ест кислород и биотопливо также нагружает биосферу, как и несколько человек. Поэтому даже приостановка роста населения людей не будет означать окончание проблемы перенаселения, так как по мере развития технологий у каждого появятся свои машины, дома, домашние роботы и т д. Теоретически существует проблема, состоящая в том, что рост населения рано или поздно перекроет любые ресурсы, даже если человечество заселит всю галактику, а значит, должна наступить некая точка, за которой неограниченная материальная экспансия прекратится. Капица вывел формулу, из которой следует гиперболический рост населения с уходом в бесконечность в районе 2027 года. (Хотя и полагал, что действие этой формулы прекратилось.) И хотя реальный рост населения отстаёт от этого графика, мы можем приблизится снова к нему, если добавим число установленных компьютеров. 
Кроме того, рост человеческого населения увеличивает вероятность самозарождения опасных инфекционных заболеваний.
Выводы: самое главное, что даёт нам кривая роста населения – это понимание того, что так вечно продолжаться не может, а значит должна быть некая точка перегиба или перелома, за которой следует та или иная стабилизация. Это может быть и качественный переход на уровень сверхцивилизации, и стабилизация на текущем уровня, и откат в некое стабильное прошлое состояние, и полное уничтожение. 
2.13.3. Крах биосферы.
Если мы овладеем генетическими технологиями, мы сможем как устроить крах биосферы невероятных масштабов, так и найти ресурсы для её защиты и ремонта. Можно представить себе сценарий, при котором вся биосфера настолько заражена радиацией, генетически модифицированными организмами и токсинами, что она не способна восполнять потребности человечества в продовольствии. Если это произойдёт внезапно, это поставит цивилизацию на грань экономического краха. Однако достаточно продвинутая цивилизация сможет наладить защиту и производство продуктов питания в некой искусственной биосфере, вроде теплиц. Следовательно, крах биосферы опасен только при последующем откате цивилизации на предыдущую ступень – или если сам крах биосферы вызывает этот откат. 
2.13.4. Социально-экономический кризис. Война.
Более подробно этот вопрос будет рассмотрен далее, в главе о различных системных кризисах, поскольку в современном обществе такой кризис не может не опираться на разные новые технологии. 
Без таких технологий война или общественно-политическоий кризис не могут происходить одновременно на всей территории Земли и таким образом создавать глобальный риск.
2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению).
Очевидно, что генетическая деградация может проявиться только в течение многих поколений. Если при этом будет существовать высокоразвитая цивилизация, то уже через поколение мы сможем управлять развитием эмбрионов и отбирать наиболее здоровых из них, а также лечить генетические заболевания разными способами. Если же человечество ждёт деградация на более низкий уровень развития, тот текущая популяция пройдёт через «бутылочное горлышко», что резко увеличит давление естественного отбора и улучшит качество генов. Подобные же рассуждения верны и для проблем с фертильностью. 
Если экстраполировать модель «одна семья – один ребёнок», то она привела бы к полному вымиранию человечества менее чем за 1000 лет, что выходит за рассматриваемый промежуток времени (и достаточно уязвимо для критики, так как здесь был бы отбор в сторону наиболее плодовитых семейств). Однако если бы некий вирус привёл к тотальному бесплодию человечества, и при этом технический прогресс бы остановился, то люди бы вымерли к XXII веку. Опять же, это мало вероятно, так как уже почти готовы технологии репродуктивного клонирования. 
Выводы: названные факторы не угрожают выживанию человечества в рассматриваемый период. 
2.13.6. Старение вида. 

Есть концепция, что виды могут стареть. (См. «Взлет и падение видов: новые данные подтверждают старую идею «эволюционного цикла» http://elementy.ru/news/430634 Michael Foote, James S. Crampton, Alan G. Beu, Bruce A. Marshall, Roger A. Cooper, Phillip A. Maxwell, Iain Matcham. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks // Science. 2007. V. 318. P. 1131–1134.) «После появления вида его «распространенность» (площадь ареала и частота встречаемости) постепенно растет в течение нескольких миллионов лет, ненадолго достигает максимума и затем постепенно снижается. Виды редко вымирают внезапно, находясь на пике численности; вымиранию обычно предшествует длительный период упадка… Другой важный вывод состоит в том, что виды редко вымирают внезапно, находясь на пике своего развития. Вымиранию обычно предшествует довольно долгий период упадка. Это значит, что палеонтологическая история вида позволяет судить о вероятности его вымирания в наши дни: наибольшей опасности подвергаются те виды, которые уже миновали пик своего развития и находятся в фазе упадка. Полученные данные противоречат также распространенному мнению о том, что в эволюции должны чередоваться короткие периоды «становления» и долгие периоды «стазиса». В действительности виды, по-видимому, почти не задерживаются на максимальном достигнутом уровне и практически сразу переходят от роста к упадку». 

Стареть могут также государства и культуры, делаясь всё более застывшими и зарегламентированными, и в конечном счёте - хрупкими. Возможно, могут стареть и цивилизации планетарного масштаба, постепенно утрачивая интерес к жизни. Всё же вряд ли это угрожает Земле на нынешнем этапе. С другой стороны, рост числа пенсионеров и «бессмертных», если таковые будут когда-нибудь созданы, может когда-нибудь создать эту проблему. 
2.13.7. Вытеснение другим видом.
Многие виды животных кончили тем, что были вытеснены более эффективными видами, или мутировали в них. Возникновение такого вида путём естественной эволюции в ближайшие 100 лет невозможно. Даже рост и сокращение численности разных рас и народов не являются процессами, которые успеют завершиться в 21 веке. Кроме того, изменение этнического состава не является угрозой выживанию человечества как вида, хотя на эту тему завязано очень много эмоций, и этнические конфликты могут стать глобальными рисками второго рода – то есть ситуациями, снижающими выживаемость человечества. 
Однако это возможно как частный случай генетических экспериментов или развития симбиоза человек-компьютер. Однако такие риски скорее относятся к другой категории, скорее всего, к разделу об искусственном интеллекте, так как чтобы вытеснить человека, новый вид, вероятно, должен быть умнее. 
2.14. НЕИЗВЕСТНЫЕ НАМ СЕЙЧАС ПРИЧИНЫ КАТАСТРОФ. 
2.14.1. Закон Мура в отношении глобальных катастроф.
Можно сформулировать своего рода «Закон Мура» в отношении глобальных катастроф. Каждые N лет (примерно оцениваемое мной в 30 лет) удваивается известное нам число природных катастроф, которые могут угрожать человечеству. Каждые M лет (примерно оцениваемое мной в 15 лет) технические возможности по организации глобальной катастрофы – то есть способности человечества к саморазрушению - удваиваются. Цифры эти взяты, конечно, с потолка, но суть в том, что в середине ХХ века идеи глобальной катастрофы практически ещё не было, а теперь мы легко можем назвать десяток искусственных способов истребить род людской. 
И это позволят нам оценить объём неведомого в смысле глобальных катастроф. Мы можем сказать, что через 50 лет не только созреют некие понятные нам технологии, но могут появиться принципиально новые идеи о том, какие возможны ещё угрозы существованию.
По мере овладения разными всё более мощными источникам энергии, всё более точным знаниями о мире и способами управлять материей, по мере открытия всё новых физических законов и всё новых идей – появляется всё больше возможностей создать абсолютное оружие. Поэтому мы ни в каком случае не должны считать приведённый здесь список исчерпанным. 
Более того, большинство случившихся в последнее время катастроф были неожиданными. Не в том смысле, что никто никогда не предсказывал ничего подобного – всегда можно найти апостериори книжку, где какой-нибудь фантаст описал что-либо подобное. А в том, что большинство населения и руководителей вообще не знали о возможности такого сценария, и в связи с этим ничего не предпринималось. Чернобыль, 11 сентября, сход ледника Колка, цунами в Индийском океане, болезнь пчёл CCD, сель в долине гейзеров – вот некоторые примеры.
Даже некоторые комбинации известных факторов, которые могут привести к глобальной катастрофе, не очевидны – например, мне понадобился почти год, чтобы предположить, что пассивное SETI содержит в себе глобальный риск, хотя я располагал всеми необходимыми данными.
Соответственно, мы можем заключить, что раз даже к обычным катастрофам мы не готовы, и список известных их возможностей далеко не исчерпан, то тем более наш список глобальных катастроф несовершенен.
Более того, неизвестные риски представляют большую опасность, чем известные, так как мы не можем их измерить, не можем к них подготовится, и они всегда застают нас врасплох.
2.15. «Конструктор» однофакторных сценариев глобальной катастрофы.
Проанализировав множество разных сценариев глобальных катастроф, мы можем выделить общие признаки таких сценариев, которые помогут нам в будущее обнаруживать или «конструировать» новые опасные сценарии. 
2.15.1. Общие признаки любого опасного агента.
По определению, в однофакторных сценариях всегда присутствует некий один фактор, который действует на всех людей. Про этот фактор можно сказать следующее: он зарождается в некой точке, распространяется по всей поверхности Земли и действует на каждого человека. Соответственно, различия могут быть в том, как он в этой точке возник, как он её покинул, как распространялся по Земле и как действовал на каждого человека. В каждом из этих пунктов есть несколько вариантов, в достаточной мере независимых друг от друга, что позволяет «конструировать сценарии», набирая разные цепочки из этих вариантов и приписывая им разную вероятность. 
Этот набор качеств может служить своего рода картой при проверке на безопасность каждой новой технологии или природного явления. А именно, мы должны проверять следующий набор свойств:
1. Может ли новая технология применяться для уничтожения людей или приводить к ней?
2. Если да, то каким образом она может выйти из-под контроля?
3. Может ли она распространиться по всей планете таким образом, чтобы воздействовать на каждого человека?
4. Может ли это произойти настолько быстро, что мы не успеем этому противостоять? 
5. Как она может взаимодействовать с другими технологиями, усиливая при этом свой риск? 
6. Насколько легко будет построить защиту от опасностей этой технологии? 
7. Насколько точными и достоверными могут быть наши предсказания о рисках этой технологии?
2.15.2. Способы возникновения. 
Опасный фактор, угрожающий глобальной катастрофой, может возникнуть следующим образом:
А) Случайное природное возникновение. Например, подлёт астероида или извержение сверхвулканов. 
Б) Создание человеком. В этом случае, скорее всего, речь идёт о некой исследовательской лаборатории. Это создание может быть или случайным, или сознательным. Возможна и комбинация того и другого – когда то, что должно было иметь ограниченный радиус поражения (или вообще рассматривалось как безопасное и полезное), приобрело всемирный радиус поражения. (Примеры: Изначально ядерное оружие рассматривалось как оружие локального действия, однако потом возникли представления, что оно может угрожать всей земной цивилизации; ИИ, который запрограммирован быть дружественным и любить людей, может проявить такую «Дружественность», как «медвежья услуга».)
2.15.3. Выход из точки и начало распространения.
Очевидно, что это происходит или по команде некого человека, или случайно. Сразу следует сказать, что возможно совмещение этих сценариев: человек отдаёт некую команду, полный смысл которой не понимает, или она выполняется неправильно. Или некий человек со стороны совершает террористический акт, приводящий к разрушению лаборатории, в которой находится супервирус.
Точка, в которой находится опасное изделие – это или лаборатория, где его создали, и тогда речь скорее идёт о случайном инциденте, или стартовая площадка, если эта технология превращена в некое изделии, которое стало оружием. Так же эта точка может быть где-то на на пространственно-временном пути от лаборатории до стартовой площадки – на полигоне, на транспорте, на производстве. 
При этом важно отметить существенную разницу между мотивами того, кто создавал оружие судного дня, и того, кто затем решил его применить. Например, атомную бомбу создавали для защиты от иностранного агрессора, а террористы могут её захватить для требования отделения неких территорий. Такой двухфазовый целевой сценарий может быть вероятнее однофазового.
Виды выхода из точки:
1. Утечка – Утечка начинается тихо и незаметно, без чьей-либо воли. Это относится к ситуациям, вроде утечки опасного вируса, которую нельзя заметить до того, как будут заболевшие снаружи. Утечка опасного химического вещества или ядерных материалов будет сразу заметна, и, скорее всего, будет сопровождаться взрывом.
2. Прорыв – Это силовой прорыв чего-то, что было заперто, но хотело вырваться наружу. Может относится только к ИИ или генетически модифицированным живым существам с зачатками интеллекта.
3. Взрыв – катастрофический сценарий происходит в самой точке, распространяются его последствия. Скорее всего, это относится к опасным физическим экспериментам.
4. Запуск – кто-то принимает решение о распространении опасного агента или применении оружия судного дня. 
Очевидно, что возможны некоторые комбинации этих базовых сценариев. Например, взрыв лаборатории, приводящий к утечке опасного вируса.
2.15.4. Распространение важнее разрушения. 
Анализируя любое явление или изобретение в качестве возможного фактора глобального риска нам следует уделять больше внимания тому, может ли он за конечное время воздействовать на абсолютно всех людей, чем тому, может ли он убивать людей или нет. Для того, чтобы некоторый фактор стал глобальным риском, есть два необходимых условия:
А) он убивает каждого человека, на которого воздействует
Б) он действует на всех людей за конечное время (За время, меньшее, чем способность людей к самовоспроизводству.) 
Однако если выполнения первого условия достичь относительно легко, так как существует бесконечное число способов причинения смерти, и они всё время на кого-то действуют, то второе условие – гораздо более редкое. Поэтому, как только мы обнаруживаем даже безобидный фактор, способный действовать на всех людей, это должно нас обеспокоить больше, чем обнаружение некого крайне опасного фактора, который действует только на некоторых. Потому что любой универсальный фактор может стать носителем для некого опасного воздействия. Например, как только мы осознаём, что солнце освещает каждого человека на Земле, мы можем задаться вопросом – а не может ли с Солнцем случиться чего-то такого, что будет воздействовать на каждого? Тоже касается атмосферы Земли, её коры, особенно космоса, который окружает всю Землю. 
2.15.5. Способ распространения. 
Собственно, именно способность к всемирному распространению делает оружие сверхоружием. Эта всемирность означает не только всю поверхность земного шара, но и способность проникать через все укрытия и средства защиты, а также скорость этого процесса, которая делает невозможным противостоять ему с помощью новых открытий. (Скажем, оледенение может быть всемирным, но, скорее всего, будет достаточно медленным, чтобы к нему можно было приспособиться.) 
Способы и факторы, влияющие на способность агента к распространению повсюду таковы:
1) по ветру в атмосфере; отдельно надо выделять быстрое движение верхних слоёв атмосферы (где скорости могут быть 100м/с, а значит, время всемирного распространения – несколько дней), а также склонность вещества выпадать в необратимые осадки, что уменьшает его количество.
2) агенты, распространяющиеся своим ходом – бактерии, самонацеливающие нанороботы, ракеты. 
3) от человека к человеку – вирусы.
4) с помощью специальных распылителей. Например, можно представить себе следующий катастрофический сценарий: на низкой полярной орбите летает спутник и непрерывно сбрасывает капсулы с радиоактивным веществом или другим опасным реагентом. За несколько дней он может пройти над всеми точками земного шара. 
5) взрыв – само создаёт огромное движение. Ударная волна помогает протолкнуть агент во все щели.
6) сетевое распространение. Так мог бы распространяться ИИ по Интернету.
7) смешанный способы. Например, на начальном этапе взрыв бомбы распыляет радиоактивные вещества, а потом их разносит ветром. Или некую плесень переносит ветер, а на местах она размножается. Понятно, что смешанные способы распространения гораздо опаснее. 
8) агенты, обладающие элементами разума, чтобы обходить препятствия (компьютерные вирусы, ИИ, микророботы, агрессивные животные). 
9) Внезапность и скрытность распространения помогает агенту проникнуть повсюду.
10) высокая способность к переносу, «липучесть» и мелкодисперсность (как у лунной пыли).
11) Способность саморазножаться, как в природе, так и на человеке или на промежуточных носителях.
12) Многофакторность – если имеется достаточно много разнородных агентов, например, при мультипандемии.
13) Существенным в распространении является концентрация. Чем выше градиент концентрации, тем больше способность реагента проникать «во все щели». Иначе говоря, если концентрация в атмосфере составляет 1 смертельный уровень, то всегда найдутся участки, где из-за разных флюктуаций этот уровень будет значительно ниже и люди там выживут, даже без всяких бункеров. Но если концентрация очень велика, то помогут только полностью герметичные, заранее оборудованные бункеры. Концентрация также увеличивает скорость распространения. 
14) Затем важна длительность действия агента. Коротко действующий агент (гамма-всплеск) может опалить значительную часть биосферы, но всегда найдутся убежища, на которые он не подействовал. Однако длительное заражение, например, кобальтом-60, делает невозможным выживание в небольших убежищах. 
15) Наконец, надо учесть лёгкость фильтрации и дезактивации – чем легче фильтрация воздуха и дезактивация выходивших на поверхность людей, тем безопаснее агент. Биологические агенты можно было легко стерилизовать в системах вентиляции, но выходы на поверхность были бы исключены, так как человека не стерилизуешь. 
2.15.6. Способ причинения смерти.
Основной элемент глобальной катастрофы, который мы называем «агент», может вообще не убивать людей, а только разъединять их и лишать способности к размножению, как например, супернаркотик, или вирус, стерилизующий всех людей. Или загнать их всех в бункеры, где они обречены на деградацию.
Агент может быть однофакторным – например, это может быть некая инфекция или радиация. При этом есть разница между мгновенной смертью и продолжительным умиранием.
Агент может обладать многофакторным поражающем воздействием, как атомная бомба. Однако должен быть главный фактор, обладающий универсальным действием на весь мир, или достаточная плотность разных факторов.
Агент может вызвать также не прямое действие, а равномерное разрушение всей среды обитания. (Астероид, разрушение биосферы) 
Вымирание может также принять форму медленного вытеснения во второсортные экологические ниши (варианты: «зоопарк», тотальная безработица в духе статьи «Почему мы не нужны будущему?»)
Разрушающий агент может вызвать появление новых агентов, каждый из которых действует по-своему. Например, распространение машины для программирования вирусов (+вируса, вызывающего у некоторых людей желание уничтожить весь мир) могло бы стать таким суперагентом, вызывающих жизни много разных агентов в разных частях Земли. В каком-то смысле сам научно-технический прогресс является таким суперагентом. 
Агент может быть интеллектуальным, чтобы в каждом конкретном случае пользоваться разными способами. (Враждебный ИИ, эсхатологическая секта).

2.15.7. Типичные виды разрушающего воздействия:
Чем бы ни был вызван «конец света», он будет воздействовать на людей и их бункеры, скорее всего, одним из нескольких перечисленных способов. Эти способы в основном совпадают с обычными поражающими факторами ядерного взрыва. Любой процесс, который способен одновременно создать хотя бы один из этих факторов на всей территории Земли, должен быть отнесён к «оружия судного дня».
• Ударная волна – способно непосредственно причинять смерть, разрушать бункеры и все другие созданные человеком объекты.
• Высокая температура – от длительного воздействия высокой температуры почти нет защиты, так как любой бункер рано или поздно прогреется. Глубоко в землю зарыться не удастся, так как температура в шахтах быстро растёт, порядка 30 градусов на километр глубины.
• Холод. Ему противостоять проще, чем высокой температуре.
• Высокое давление
• Летучее вещество
• Излучение и радиация.
• Колебания земной поверхности.
• Утрата жизненно важного ресурса – кислорода, еды, воды.
• Поражение саморазмножающимся агентом (в каком-то смысле огонь тоже обладает способностью саморазмножаться).
• Сверхзвуковая ударная волна – возможно, при достаточно сильном ударе, она могла бы охватить значительную часть земной коры (хотя вязкость бы её поглощала).
Разница между очень большой катастрофой и окончательной глобальной катастрофой может быть в том, что в первом случае уцелеют хотя бы доли процентов людей и территорий. Поэтому важным признаком настоящей глобальной катастрофы является то, что она покрывает всю территорию без исключений. За счёт чего это происходит:
За счёт очень высокого уровня избыточности разрушающего воздействия.
За счёт того, что разрушающий агент обладает своего рода «сверхтекучестью» по своей природе. 
2.15.8. Временная структура события.
Вне зависимости от того, как сложились предыдущие факторы, можно обозначить следующую последовательность событий во времени для однофакторной глобальной катастрофы:
1.Фаза назревания. Она включает в себя изобретение, создание, подготовку к применению и возникновение плана по применению. Если речь идёт о природном явлении, то речь идёт о накоплении энергии в камер супервулкана или подлёте астероида. Сюда также входит накопление халатностей при исполнении инструкций и ошибки в составлении инструкций.
2.Момент спускового события. Одно событие в пространстве-времени, которое определяет начало этого процесса. Это может быть решение о ядерном ударе, трещина в крышке вулканической камеры и т д. Спусковое событие запускает цепочку событий, следующих друг за другом со значительной вероятностью в определённом временном графике. При этом если бы спусковое событие не произошло, то весь процесс мог бы отложиться на неопределённое долгое время. Однако само спусковое событие может быть внешне безобидным и никем не осознаваемым в качестве такового.
3. Здесь цепочка событие приводит к высвобождения опасного агента из точки его расположения. В этот пункт входят четыре варианты выхода «из точки», которые мы обсуждали выше: утечка, прорыв, взрыв, запуск. 
4. На этой фазе происходит распространение агента по всей поверхности Земли (а также в ближний космос, если уже есть самостоятельные космические поселения). Это распространение может быть а) скрытным б) сопровождающимся самим процессом разрушения. Скрытное может быть опаснее, так как не остаётся областей, которые успевают подготовится. 
5. Фаза уничтожающего процесса. Затем развивается сам процесс, охватывающий всю поверхность Земли. Эпидемия или ударная волна. 
6.Точка необратимости. Процесс распространения обладает той или иной степенью неопределённости, как по своей природе, так и по его оценкам людьми. Если процесс не мгновенный, то имеет место борьба людей с ним. Тот момент, когда люди проигрывают эту борьбу и вымирание становится неизбежно, и есть точка необратимости. Хотя она может не осознаваться в качестве таковой. Можно описать эту точку и так, что позволяет сделать математические выкладки. Точка необратимости - это момент, когда факторы истребления превышают технологические возможности цивилизации, в том числе и потенции по улучшению этих технологий. Зависит как от концентрации факторов истребления, так и от уровня цивилизации. Если в результате крупной катастрофы уровень цивилизации упал ниже некой точки, а уровень факторов истребления – выше ней, то дальше вымирание необратимо. С определённой вероятностью, разумеется.
7.Смерть последнего человека. После точки необратимости следует вымирание уцелевших людей. Это процесс может растянуться во времени даже на многие годы за счёт бункеров. Он может представлять даже очень длительное состояние прозябания уцелевшего племени на неком острове. Но у такого племени может быть шанс восстановить цивилизацию. 
8.Процессы после. После смерти последнего человека процессы на Земле не завершатся. Возможно, начнут развиваться новые виды, возможно Земля будет заселена роботами, нанороботами и ИИ. Есть также надежда, что новый разумный вид воскресит человека по уцелевшей ДНК.
2.15.9. Предаварийные ситуации
Есть также разные типы общественных ситуаций, когда случайное или нарочное применение средства всеобщего уничтожения становится более вероятным.
1) Война за объединение планеты.
2) Борьба всех против всех за ресурсы в условиях их усыхания и исчерпания.
3) Нарастающая структурная деградация, а ля распад СССР.
4) Техническая авария, утечка
5) Диверсия с целью уничтожения всех людей.
6) Случайная война
7) Шантаж машиной судного дня.
8) Неудачный эксперимент
9) Мятеж с целью установления власти на Земле. (ИИ, фашистов итд.)
2.15.10. Намеренная и случайная глобальная катастрофа.
Любые глобальные катастрофы можно различить по тому признаку, организованы ли они некой разумной силой, которая стремится устроить именно глобальную катастрофу, или это некий случайный процесс, у которого нет никаких целей. 
К первому варианту относятся глобальные катастрофы:
А) устроенные людьми
Б) связанные с ИИ
В) происходящие по причине столкновения с иными нечеловеческими разумными силами.
Ко второму: Аварии, утечки, природные катастрофы, системные кризисы.
Интеграция первого и второго сценариев: Возможен также сценарий, когда первая фаза катастрофа задумана людьми с определенными целями, однако затем процесс вырывается из-под контроля. Например, террористы могут сознательно спровоцировать ядерную войну, но не представлять её масштабов. Или некоторая буддистская секта может сознательно заразить всех людей вирусом счастья, но не учесть того, что такие люди будут в дальнейшем не дееспособны. (Далай Лама недавно высказался в том духе, что неплохо было бы с помощью генетических манипуляций убрать у людей негативные эмоции.)
С другой стороны, победа разумной силы над людьми означает, что некоторая разумная сила в природе остаётся (если только она не кончает собой после того), а, следовательно, окончательного исчезновения разума во вселенной не происходит. И раз некий разум, причём превосходящий человеческий, остаётся, то он может и вернуть людей у жизни. Однако есть разумные силы, принципиально отличные от человеческого сознания, например, эволюция. Эволюция гораздо «умнее» человека (которого она породила), но бесконечно проигрывает по скорости. (Но не везде, например естественный отбор микроорганизмов, устойчивых к антибиотикам, происходит со скоростью, сопоставимой с разработкой новых антибиотиков.) Если один из вариантов будущего ИИ будет использовать принципы эволюции, но гораздо быстрее, то он может достичь «победы» над людьми как более эффективный решатель любых задач, но при этом не быть сознающим существом в нашем понимании. Разработки такого ИИ небезуспешно ведутся в направлении, называемом «генетические алгоритмы». 
2.15.11. Машина судного дня. 
Соберём в отдельную категорию все варианты «машины судного дня», которую может создать наиболее злонамеренная группа людей. Возможно, термин восходит к фильму С.Кубрика «Доктор Стрейнджлав». (Сюжет его вкратце таков: «Русские» создают «Машину судного дня», которая взрывает весь мир, если на СССР нападут. В ходе внутренней заварушки в США мятежный сумасшедший генерал наносит удар по СССР, не зная о машине Судного дня. В результате машина запускается. Русский посол говорит: «И эту машину отключить нельзя, иначе бы в ней не было смысла». Др. Стрейнджлав замечает: «Но какой смысл было держать эту машину в секрете?» Русский посол отвечает: «Мы собирались объявить о ней в ближайший понедельник». То есть машина, которая должна была резко снизить риск какой-либо войны на Земле, в действительности приводит к её началу. Интересно, что Дж.Лесли пишет в своей книге «Конец света. Наука и этика человеческого вымирания», что на самом деле было бы неплохо было бы такую машину иметь, так как если бы она правильно применялась, то она в сумме бы снизила риск ядерной войны – примерно как сейчас это делает доктрина взаимного гарантированного уничтожения). Хотя основная идея машины состоит в той форме шантажа, которая подразумевает, что машина судного дня никогда не будет применена, сам факт её создания создаёт вероятность её применения.
Кроме того, имеются исторические примеры бессмысленного истребления людей - обстрел гитлеровцами Лондона Фау-2, поджигание скважин в Кувейте. Психологический пример - подрыв себя гранатой при аресте. 
Отнюдь не любой вариант глобальной катастрофы годится как машина судного дня. Это должен быть процесс, который по решению некой группы людей может быть запущен в строго определённый момент времени и вести к глобальной катастрофе со значительной вероятностью, близкой к 100 процентам, по крайней мере, с точки зрения разработчиков устройства. Машина судного дня также должна быть неуязвима к попыткам предотвратить её применение, к несанкционированному применению и должна быть возможность продемонстрировать реалистичность её применения, что нужно шантажистам. (Сейчас в качестве машины судного дня функционально выступает обладание хоть каким-то ядерным оружием, хотя одна атомная бомба весь мир не уничтожит. Например, такова сейчас роль ядерной бомбы в руках Северной Кореи – она хорошо спрятана, но наличие её продемонстрировано.)

• Взрыв водородной бомбы 
а) в супервулкане
Б) в каменноугольном пласте
В) в ядерном реакторе
Г) в слое газовых гидратов в океане, с расчётом на цепную реакцию дегазации.
• Создание водородной сверхбомбы стационарного типа.
• Взрыв кобальтовых зарядов, запуск реактора-чёртовой трубки.
• Сведение астероида с орбиты.
• Накопление массы антиматерии.
• Проплавление коры Земли с помощью жидкого ядерного реактора по типу капли.
• Распыление спор антракса в атмосфере, высвобождение большого количества разных вирусов.
• Слив диоксина в океан
• Выпускание генетически модифицированных производителей токсинов и вирусов (диоксиновая плесень, чумная вошь)
• Распространение сотен миллиардов микророботов, атакующих всё живое. 
• Уничтожение озонового слоя с помощью некого катализатора.
• Сочетание этих факторов.

3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ.

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н.Бострома и в книге Дж. Лесли, с незначительными отличиями. Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой нанороботы, а третий вымрет от голода? 
3.1. Интеграция различных технологий, создающие ситуации риска.
Сам факт быстрого развития сильных технологий создаёт зону риска. Технологии имеют тенденцию помогать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno. Эта конвергенция является примером нелинейной интерференции, когда два слабых фактора, складываясь, вместе дают нелинейно сильный всплеск. Нелинейная интерференция возникает, когда взаимодействуют два принципиально разных, но направленных к одной цели механизма. Например, если двое мужчин толкают камень, то это линейная сложение. Но если мужчина и женщина создают семью, то они обретают принципиально новое качество – рождение детей. Или когда человек заболевает одновременно СПИДом и туберкулёзом – обе болезни относительно хронические, но вместе они сжигают человека очень быстро. Можно также отметить, что конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. В центре конвергенции NBIC начинает вырисовываться нечто, объединяющее достижение всех этих технологий – Искусственный Разум.
Нелинейная интерференция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)
Часто имеющие прогнозы будущего и фантастика описывают его как настоящие плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия. 
При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический кризис – война – применение биологического оружия. 
3.2. Парные сценарии.
Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, то есть разные варианты взаимоусиления основных факторов, взятых парами, - при этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования.
При этом дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. При этом каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.
ИИ и биотехнологии.
Последовательная конвергенция (цепочка событий):
1. Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.
2. ИИ создаст сверх вирус как оружие.
3. Люди вымрут от вируса, и придётся вводить вместо них роботов.
Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:
4. Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.
5. Специальные вирусы будут устанавливать созданные самим ИИ программы в мозг людям.
6. ИИ будут создавать непосредственно из биоматериалов – нейронов, ДНК. 
ИИ и сверхнаркотик.
Последовательные сценарии:
1. Например, ИИ захочет обрадовать всех людей и создаст им такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).
2. По мере смерти людей от сверхнаркотика придётся заменять их на ИИ. 
3. Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ. 
4. Сверхнаркотик будет оружием враждебного ИИ против людей.
Параллелная конвергенция:
5. ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.
Сверхнаркотик и биотехнологии.
1. Производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.
2. Потребность общества в наркотиках приведёт к рассвету чёрного рынка биотехнологий, который попутно сделает доступными и изготовление биооружие массового поражения.
3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг. 
4. Некая заразная болезнь будет одним из своих симптомов иметь эйфорию и стремление её распространять.
Сверхнаркотик и нанотехнологии.
Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов.) Однако в целом здесь действуют те же сценарии, что и с биотехнологиями. 
ИИ и нанотехнологии.
1. Нанороботы позволят считать детали устройства человеческого мозга, что ускорит развитие ИИ.
2. ИИ поможет разработать и выпустить сверхэффективных нанороботов.
3. Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.
4. Нанороботы и будут носителями ИИ – получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.
5. Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.
ИИ и ядерное оружие.
1. ИИ придумает, как сделать ЯО проще, быстрее и дешевле.
2. Сценарий, в духе предложенного в фильме «Терминатор» - ИИ использует ЯО, чтобы избавится от людей.
3. Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.
Нано и биотехнологии.
1. Живые клетки будут собирать детали нанороботов (синтезировать в спец.рибосомах).
2. Появятся «аниматы» – искусственная жизнь, содержащая элементы как живого, так и нанороботов.
3. Только нанороботы дадут окончательную защиту от биологического оружия. 
Нанотехнологии и ядерное оружие.
1. Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО. 
2. Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению Земли.
Ядерное оружия и биотехнологии.
1. Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств. 
2. Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива. Или дезактивации территории.
3. Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены. 
ЯО и супервулканы.
С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.
ЯО и астероиды. 
1. С помощью ЯО можно отклонить астероид от Земли, или наоборот направить его на Землю. 
2. Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны. 
3. Астероид может также разрушить атомную станцию и вызвать заражение.
ИИ и системный кризис.
1.Применение сверхкомпьютеров создаст некий новый тип нестабильности – быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии). 
2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ. 
3. Весь мир оказывается зависим от глобальной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении. 
ЯО и системный кризис. 
1. Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки. 
2. Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.
ЯО и климат.
1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.
2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.
3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).
3.3. Исторические аналогии глобальной катастрофе.
Глобальная окончательная катастрофа технологической цивилизации – уникальное явление, которого никогда не было в истории. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Я предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это будут:
• Вымирание динозавров
• Вымирание неандертальцев
• Крах Римской империи
• Распад СССР
• Кризис на острове Пасхи
• Крах индейских цивилизаций Америки после открытия её Колумбом.
• Взрыв в Чернобыле.
• Гибель «Титаника»
• Взрыв сверхновой звезды
• Возникновение человечества с точки зрения биосферы
• Начало Первой Мировой войны.
• Рак как болезнь
Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии.
По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем больше видим, что было множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. По каждой из этих катастроф написаны книги, и значителен разброс мнений, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда. О вымирании динозавров стоит посмотреть соответствующую главу в книге К.Еськова «История Земли и жизни на ней». 
Общим во всех этих случаях является то, что присутствовала сложная система причин как внешнего, так и внутреннего характера. Именно сложность системы этих причин создаёт проблемы, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.
Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Человек заболевает раком не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к Колумбу.) 
Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней может случится, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.
Итак, из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки». 
С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это стало «поздно», а не «рано».
Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по своей логике, падение астероида и извержение вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было бы, то система могла бы не перескочить в другое русло своего развития. 
В-третьих, во всех случаях, где речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. То есть управление совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого количества разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития. 
Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Это ядерные реакторы, космические корабли «Шаттл», сверхзвуковые «Конкорды». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была на грани. 
Представляется продуктивным дальнейшее изучение аналогов глобальных катастроф на совокупности примеров.
3.4. Неизбежность достижения устойчивого состояния.
Можно сформулировать следующее верное высказывание: 
Скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала.
Это произойдёт в следующих случаях:
а) Мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.
б) Мы найдём способ контролировать все риски.
в) Катастрофа всё-таки произойдёт, и гибнуть больше будет некому.
г) Мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет все ждали Конца Света, и даже радовались его близости).
Вместе с тем, пока что мы наблюдаем противоположное явление – способность людей к созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы постоянно растёт. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн и увидеть, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 60-70 годам реально можно было уничтожить миллиарды людей (в реальной войне погибло бы меньше, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент количеством населения. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.
Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения превосходят, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временного фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения, только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости. 
3.5. Рекуррентные риски.
Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 процентов, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего - только один человек. Если их будут тысячи, то гарантированно никого не останется. Даже если летальность каждого отдельного вируса будет только 10-20 процентов. 
Тоже самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого. 
Разумеется, тут надо учесть способность человечества приспособиться к какой-то одной угрозе. То есть можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты конечны. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты. 
Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)
3.6. Глобальные риски и проблема темпа. 
Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над опасными технологиями, но создать такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые. 
В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – исчерпания тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями. 
Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.
Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом.) Темп этот будет в случае глобального риска ошеломительным, чтобы люди не могли успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом. 
При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться. 
3.7. Сравнительная сила разных опасных технологий.
Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии). 
1. Исчерпание ресурсов – десятилетия или столетия. 
2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание - годы и десятилетия.
3. Биотехнологии – годы или десятки лет. 
4. Нанороботы – от нескольких дней до нескольких лет.
5. Искусственный интеллект – от часов до нескольких лет
6. Взрыв на ускорителе – со скоростью света. 
Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии позиции будет позволят минимизировать последствия катастрофы на более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей. 
3.8. Последовательность возникновения различных технологий во времени.
Приведённый выше список «силы» технологий в целом похож на ожидаемую временн;ю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей. 
Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение.
Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.
Обычно ожидают следующую последовательность созревания технологий: био-нано-ИИ. Но я полагаю, что нанотехнологии возникнут скорее после ИИ, то есть будут созданы им. Разумеется, это только моё мнение, могущее содержать ошибку. 
Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. 
Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты). 
Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – на пути создания синтетических организмов.
3.9. Сопоставление факторов риска разных технологий.
Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b). 
Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. 
Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения.
Для ИИ эти величины нам неизвестны. 
Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия. 
Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ управлять прогрессом и применением его плодов безопасным образом.
Качественно обобщая, можно сказать, что биотехнологии получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.
Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий. 
ИИ оказывается «двухсторонним джокером» - он может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории способной к самосовершенствованию машины и нацеливание её на захват власти на Земле. В этом случае она скорее создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Э.Юдковски метафорически так выражает эту мысль: «Закон Мура в отношении ИИ – с каждым годом IQ человека, необходимый для его создания, падает на одну единицу» (сверить цитату). 
Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое ослабит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» - см. далее. 
Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя. 
Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет, хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.
3.10. Цели создания.
Опасный фактор может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)
Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества. 
1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружие, вирусах и химических веществах. (Впрочем, есть разные теории о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно закончит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправится со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп, от христианских, до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света: свидетели Иеговы и мормоны.) 
2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement. http://www.vhemt.org/ - они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество - не без оснований - раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев - «веганов», для которых жизнь животных не менее важна, чем человеческая. 
3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский). Цель: возвращение в «совершенное» ранне-человеческое общество. 
4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а несколько дней обычно. Хотя можно представить себе человека, который сошёл с ума на идее отомстить миру или Богу.
5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды нарокомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев, собака, умирающая от одиночества, алкоголизм от одиночества). 
6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти. 
7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, вдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.
8) Универсальное оборонительное оружие последнего выбора. Вместо того, чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы Стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более, что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа». 
9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.
10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.
11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число. 
12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы их спасти нам, пришлось их уничтожить». 
13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе. 
14) Шизофреники, испытывающие навязчивые идеи. Например, один человек в середине ХХ века в США, обнаружив, что дата его рождения совпадает с датой землетрясения в Сан-Франциско, пришёл к выводу, что если он будет убивать людей, то таким образом будет предотвращать землетрясения. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Кроме того, они часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, что делают невозможной реализации долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи. 
Человеком всегда действует несколько побуждений, только часть из которых осознана. По моим подсчётам, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.
3.11. Социальные группы, готовые рискнуть судьбой планеты.
Вероятно, надо отдельно составить список социальных групп, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган предпринял Крестовый поход против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает. 
1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.
2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.
3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем. 
4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят. 
5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действие, которые приносят благо в краткосрочной перспективе, но несёт колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующем у каждого человека, и особенно обостряющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)
В качестве отдельной графы следовало бы выделить человеческую склонность ошибаться в оценках глобальных рисках, подробнее на эту тему см. статью Е.Юдковски и мою статью о недооценке глобальных рисков.
3.12. Обобщающий коэффициент, связанный с человеческим фактором.
Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей, в пересчёте на одни сутки. Мы так же не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, которые нуждаются в точном пересчёте), оно может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять один случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент k в пересчёте на человека на день будет примерно одна миллионная. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное adware могут производить и больше людей). 
Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная, как лежащая по середине. 
Не следует думать, что если мы раздадим ключи от запуска нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно. (Кларк) То есть системы запуска можно обойти хитростью. 
Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть совокупность очень логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.
Выводы: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь. 
3.13. Принятие решения о ядерном ударе.
Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия и технологий и машин судного дня. 
При этом возникает вопрос, в чьих руках находится «красная кнопка» - только высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.
Имеется следующая противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренно запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар.
Реальные системы, устройство которых – в настоящий момент - является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 0000000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль. 
Вряд ли может случиться ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.
Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция создаётся тоже людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор так же не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается и становятся возможными решениями, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили Корейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту команду ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который взял эту смену относительно случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить. 
3.14. Цена вопроса.
Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некого вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле адскую машинку захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ. Но вряд ли бы они могли создать сами такой арсенал ракет. 
Понятно, что важен также фактор времени – если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения. 
Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют многих лет. В то же время тысячи биолабораторий в мире могут работать над генетические модифицированными вирусами, и проекты эти могут быть гораздо быстрее. По мере накопления знаний и стандартизации оборудования это число растёт, а время на разработку сокращается. По оценкам моего знакомого биолога, для создания опасного вируса требуется сейчас бюджет порядка миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехе падает гораздо быстрее, так как не требует больших капитальных вложений, и скорее зависит от доступности информации.
Можно ввести фактор риска A, прямо пропорциональный количеству мест на Земле, где опасный проект может осуществляться - L, и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 процентов.
(1)
Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000.
При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать.
Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших» - см. соответствующую главу) из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.) 
Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии, благодаря чему число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день. 
Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства. 
Далее, надо добавить вероятностный фактор в отношении того сработает ли данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты конца света на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут давать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)
Ещё интересная тема - каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди. 

4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА.
4.1. Определение и общие соображения.
Будем называть глобальным риском второго рода любое событие, которое значительно повышает вероятность вымирания человечества. Сочетание таких событий создаёт окно уязвимости. 
Исторически известно, что вымерло 99 процентов видов живых существ, живших на Земле, и сейчас каждый день продолжают вымирать виды. Очевидно, что вымирание этих видов произошло без применения сверхтехнологий. Наиболее знамениты вымирания динозавров и неандертальцев. Среди причин вымирания, по мнению палеонтологов, в первую очередь стоят изменения экологической ситуации – то есть разрушение пищевых цепочек и появление конкурентов, тогда как природные катаклизмы выступают только спусковым событием, добивающим ослабшие виды. От астероида вымерли именно динозавры, ибо именно на них давили мелкие хищники-млекопитающие, питающиеся молодняком и яйцами. От последнего оледенения вымерли именно неандертальцы, так как им противостояли более организованные homo sapiens. Всё же трудно использовать гипотезы о прошлых вымираниях для обоснования последующих, так как тут много неясного. Однако в качестве более достоверного примера можно взять случаи гибели традиционных обществ и культур. Например, русское крестьянство со всей своей культурой, каковым оно было в 19 веке, исчезло целиком и безвозвратно (если не сказать вымерло) в процессе урбанизации– притом, что исторически оно могло противостоять и войнам, и эпидемиям. Но его погубили новые возможности, которая дала городская цивилизация и новая экономическая ситуация. Такова же судьба австралийских аборигенов и других сообществ, столкнувшихся с более высокоразвитой цивилизацией. То есть отдельные люди живы, а от культуры остались только фольклорные ансамбли. Это можно описать и на примере отдельного существа. Когда организм болеет, уязвимость его к любым внешним толчкам (или обострениям самой болезни) возрастает.
В силу этого мы можем представить себе следующий двухфазный сценарий: 
1. В начале из-за крупной катастрофы население Земли резко сократилось, производство и наука деградировали. Назовём это пространство «постапокалиптическим миром». В кино или литературе такой мир описывается обычно как возникающий после ядерной войны (фаза гибели цивилизации, но не людей).
2. Уцелевшие люди, оставшиеся в этом мире, оказываются гораздо более уязвимы к любым рискам, вроде падения небольшого астероида, исчерпания ресурсов, извержения вулканов. Более того, они вынуждены бороться со всеми остатками цивилизации – заражением, исчерпанием ресурсов, утратой навыков, генетической деградацией, наличием опасного оружия или опасных процессов, начавшихся при цивилизации (необратимое потепление).
Что из этого следует:
А) Такие двухфазные сценарии заставляют нас рассматривать как опасные те риски, которые мы ранее отбросили, как не могущие погубить цивилизацию.
Б) В некотором смысле двухфазный сценарий подобен нелинейной интерференции, о которой речь шла выше, но здесь стыковка происходит во времени, причём важен порядок событий.
В) Двухфазный сценарий может стать и трёх- и более фазным, где каждая следующая фаза деградации делает человечество уязвимым к следующим формам риска.
Г) При этом может не быть прямой связи между первой и второй катастрофами. Например, попасть в постапокалиптический мир люди могут в силу ядерной войны, а вымереть от извержения супервулкана. Но точно также они могли бы попасть в это состояние уязвимости к супервулкану из-за эпидемии или экономического спада. 
Д) Рассмотрение многофазных сценариев носит принципиально вероятностный характер. Эпоха слабости человечества, когда оно уязвимо, можно назвать окном уязвимости, которое характеризуется плотностью вероятности и продолжительностью. Это определяет то, что такое окно уязвимости конечно во времени. Сейчас мы живём в эпоху окна уязвимости к сверхтехнологиям. 
4.2. События, которые могут открыть окно уязвимости.
Здесь есть два типа событий. Первые – это события, которые неизбежно наступят в 21 веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):
1. Исчерпание нефти
2. Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо
3. Исчерпание водных ресурсов 
4. Крах мировой финансовой пирамиды долгов
5. Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания.
Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность создаёт «период полураспада» - то есть время, за которое это событие, скорее всего, случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов. 
1. Крупный теракт, масштаба взрыва атомной бомбы в важном городе.
2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара – пока таких катастроф не происходило. Самый близкий пример – авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас. 
3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе. 
Следующие фазы разрастания окна уязвимости включают в себя мировую войну и разработку и применение оружия судного дня. 
4.3. Системные кризисы.
Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть, не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее, есть модели, где системный кризис истребляет всю популяцию. 
Простейшей такой моделью является экологическая система хищник-жертва, допустим, волков и лосей на острове. В ней, в случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей. Известные примеры – олени и трава на канадском острове – на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в 8 веке, создали развитое общество, которое, однако, постепенно изводило леса, особенно, на транспортировку знаменитых статуй. Утрата леса некоторым образом приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало – и в этот момент остров был открыт европейцами. 
Итак, системный кризис способен «провести популяцию через ноль», то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было, или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия. 
Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить. 
Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 процентов культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если отрезать полрастения, то из пня вырастут побеги и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже самую малую часть человека, особенно его мозга, то он умрёт весь раз и навсегда до самой последней клетки, коих сотни триллионов – трудно уничтожить штамм бактерий с такой эффективностью. Также и цивилизация – достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричество на несколько часов, и от этого гибнут люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные постройки не могут существовать без непрерывного подвода энергии: шахты затопит, ажурные конструкции торговых центров развалятся за одну зиму без уборки снега и отопления и т д.) 
Чем системнее некая структура, тем в больше степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами – и тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире перетасовать в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также и если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом – мертво. 
Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий – конечно, не всех, а тех, которые попали в «фокус её внимания». Остаточно крупные катастрофы обычно попадают, поскольку перехлётывают через порог устойчивости. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов. И к войне в Ирке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс например, то что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов). Похоже описал Лев Толстой то, как последствия ущерба, который потерпела французская армия под Бородино, нарастал в последующей цепочке событий – пожар в Москве, зима, Березина, крах империи. При этом информационные составляющие ущерба во всех этих случаях превышала физическую. То есть эти события спровоцировали цепочку неправильных решений и разрушили структуру управления – то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним. 
Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации. 
1. Избыток хищников – этот пример мы уже обсуждали выше на примере волков и лосей.
2. Пример из экономики – Великая депрессия. Замкнутый цикл сокращения производства – увольнений – падения спроса – сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль. Только внеэкономические событий, вроде войны и экспроприации золота, смогли его разорвать. 
3. Другим примеров самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.
4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс, ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты. 
5. Трещина. Эскалация раскола в неком обществе приводит к всё более открытой борьбе между двумя силами, всё большим преступлениям, всё большей поляризации остальных членов общества, которые вынуждены выбирать на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)
6. Структурный кризис, когда все всё знают. (Как в фильме «Особое мнение», где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация, где если два противника не знают, в каком состоянии другой, они находятся в покое. А если один знает, что другой начал выдвигать войска, это его провоцирует выдвигать свои; если он знает, что тот не выдвигает войска, это тоже его провоцирует напасть первым. То есть информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным – и с большой скоростью. 
7. Структурный кризис «Кампучия», когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть – тоже структурный кризис, который может поедать сообщества.
8. Концепция о том, что уничтожать других – это способ «решить проблему». Но это только путь к разрастанию конфликта. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более «добрая» проиграет. Иначе говоря, патологическая самоогранизация может происходить даже тогда, когда большинство против неё. Например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован. Однако не помешал самому процессу.
9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, которые делают этот объект абсолютно непредсказуемым - что имеет место при спекуляциях на рынке. (См. книгу Дж. Сороса о кризисе мирового капитализма.) Эта непредсказуемость заставляет тренды выходить на самые невероятные режимы работы, среди которых могут быть и катастрофические. Иначе говоря, тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, это динамический хаос.) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.
10. Другой вариант экономического структурного кризиса - бесконечное откладывание рецессии путём накачки экономики деньгами - может пройти точку необратимости, когда мягко выйти из этого невозможно. Это описывается в теории кредитных циклов Мински. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно, и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема ponzi), (см. подробнее http://ie.boom.ru/Rozmainsky/fragilation.htm). Первый тип заёмщиков свободен, и может целиком выплатить долг. Второй тип заёмщиков вынужден выплачивать долг вечно и не может выйти из этого состояния. Третий тип вынужден непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени. Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США , находится где-то между вторым третьим типом. Объём разного вида долгов, созданных только внутри США имеет порядок 100 триллионов долларов (сюда входит 7 трлн государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медобсулуживанию пенсионеров Medicare. При этом ВВП США – 13 трлн. долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они размазаны по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он, скорее, описывает, кто, что и когда будет делать и получать. То есть это финансовая машина планирования будущего. Однако, когда она переходит на третий режим (схема ponzi), она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже. Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Кризис 1929 года был крупнейшим системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975,1982 и начала 90-х. Но в этом есть новая опасность, называемая «моральный вред», состоящая в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в делании долгов, так как уверены, что их выкупят и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во много опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура. 
11. Общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили и врезались в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были «непреодолимые силы природы» (шторм, медведь), то к 20 веку они были вытеснены основной – человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу 20 века сложность технических и социальных сетей стала столь велика, что их сбои стали не локальными, а системными (по сценариям, обнаружение которых требовало невычислимой сложности). Примером тому является Чернобыльская катастрофа, где персонал следовал по букве инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека. 
12. Текущая ситуация в мире, с его основным противоречием между множеством вооружённых стран и единством мировой экономики. 
13.Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).
14.Самоподдерживающаяся моральная деградация (крах Римской империи).
15. Эффект домино (например, наркоман, который подсаживает других, чтобы достать деньги на новую дозу или эффект когда банкротство одного банка вызывает банкротство всех его кредиторов по цепочке)
16. «Естественный» отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют добрых.)
17. Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) То есть, встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли. 
18. Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха Перестройки).
19. Кризис нарастающего неверия - нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи – кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины – эксперимент, а результат эксперимента – новая технология, а её ценность – это деньги, то постепенно промежуточные ступени опускаются. 
20. Теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору – то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория «нормальной аварии» (Perrow 1984), которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей. 
21. Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с саморганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает, когда концентрация неустойчивых элементов достигает некого порогового уровня, так, что он они начинают устанавливать связи друг с другом, и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают.
Можно сказать и по-другому. Катастрофический процесс возникает, когда оказывюется исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди – террористы, - которые тщательно выискивают разные скрытые уязвимости и хотят их применить.
22. Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов. 
Структурные кризисы малопонятны людям, ибо их ум заточен мыслить в категориях объектов и субъектов действий. И в силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разгорается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение.
Далее, возможны более сложные структурные кризисы, которые мне пока не приходят в голову.
4.4. Кризис кризисов.
В современном мире присутствуют все названные виды кризисов, но в целом система держится стабильной, потому что силы эти тянут в разные стороны. (Например, авторитаризму свойственная тенденция к расколам – СССР и Китай, сунниты и шииты, Сталин и Троцкий – которая создаёт кризис типа трещины и уравновешивает однополярную кристаллизацию.) То есть отдельные процессы уравновешивают друг друга: авторитаризм – дезорганизацию итд. Кроме того, действует принцип гомеостаза в духе принципа Ле Шателье-Брауна. 
Опасно, однако, если все эти отдельные кризисы самоогранизуются, то получится некий кризис кризисов. Системы стремятся удерживаться в равновесии, но при достаточно сильном точке переходят в равновесное состояние движения, иначе говоря, в систему процесса разрушения, которая тоже обладает своей устойчивостью. Это верно для армии, переходящей в наступление: до какого-то момента она вынуждена преодолевать сопротивление врага и собственной инерции, однако затем она входит в состояние наступление, которое обладает своей устойчивой структурой. Из обычной жизни пример: для того, чтобы выйти из дому, надо приложить иногда некое усилие, чтобы «раскачаться», однако когда процесс путешествия пошёл, он уже обладает собственной динамикой, инерцией и структурой.
В настоящий момент все кризисные проявления в человеческом развитии сорганизованы так, чтобы удерживать человечество в русле постепенного экономического, научно-технического и популяционного роста. В случае кризиса кризисов все те же факторы могут сорганизоваться так, чтобы непрерывно работать на уничтожение человеческой цивилизации. 
Свойства кризиса кризисов: его невозможно понять, потому что, начав о нём думать, втягиваешься в него и усиливаешь его (так работает, скажем, арабо-израильский конфликт). И потому что его понимание не имеет никакой ценности, из-за плотного информационного шума. Потому что, на самом деле, он сложнее, чем может понять один человек, но имеет ряд очевидных неверных упрощённых пониманий. (Закон Мёрфи: любая сложная проблема имеет простое, очевидное и неверное решение.)
Элементами кризиса кризисов являются не события и взаимодействия в мире, а кризисы более низкого порядка, которые структурируются не без помощи человеческого ума. И особенно здесь играет роль понимание, что сейчас происходит кризис, которое ведёт к двум, по крайней мере, моделям – или к стремлению поскорее избавиться от кризиса, или к стремлению кризисом воспользоваться. Обе могут только усиливать кризис. Хотя бы, потому что у разных сторон – разные идеи о том, как закончить кризис и как получить выгоду от него. 
Поскольку понимание кризиса отдельными игроками – часть кризиса, то этот кризис будет сложнее любого понимания его. Даже когда он закончиться, понимания того, что же с нами произошло – не будет. Именно поэтому так много разных мнений и дискуссий о том, что же произошло в 1941 году или «почему распался СССР». 
Ещё одной метафорой кризиса кризисов является следующее рассуждение, которое я слышал применительно к финансовым рынкам. Есть большая разница между кризисом на рынке, и кризисом рынка. В первом случае наблюдаются резкие скачки цен и изменение торговой ситуации. Во втором – прекращается сама торговля. В этом смысле глобальная катастрофа не есть очередной кризис на пути развития, где новое побеждает старое. Она есть прекращение самого развития. 
4.5. Технологическая Сингулярность.
Одно из глубоких наблюдений в духе «кризиса кризисов» изложено в статье А.Д.Панова «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии». Рассматривая периодичность различных ключевых моментов с возникновения жизни на Земле, он обнаруживает закономерность, которая говорит о том, что плотность этих переходных эпох непрерывно возрастает по гиперболическому закону, а следовательно, имеет «сингулярную точку», в которой она обращается в бесконечность. Это означает, что происходит не просто очередной кризис, а кризис всей модели, которая описывает процесс эволюции от зарождения жизни до наших дней. И эта модель ничего не говорит о том, что будет после сингулярной точки. 
Эта точка находится в районе 2027 года. Интересно, что несколько принципиально разных прогностических моделей указывают на окрестности 2030 года как на точку «Сингулярности», где их прогностические кривые обращаются в бесконечность. Очевидно, что глобальные риски группируются вокруг этой точки, так как она является классическим «режимом с обострением». Однако они могут произойти и гораздо раньше этой точки, поскольку будут кризисы и до неё. 
В модели Панова каждый следующий кризис отделён от предыдущего промежутком времени, в 2,42 меньшем. Если последний кризис приходится на начало 1990-х, а предпоследний – на вторую мировую войну, то следующий кризис (момент выхода из него) по модели Панова будет в районе 2014 год, а после следующие – на 2022, 2025, 2026, а дальше их плотность будет непрерывно нарастать. Конечно, точные значения этих цифр неверны, но общая тенденция в этом есть. При этом последний кризис – распад старого и творение нового – был в начале 90-х годов и состоял в распаде СССР и возникновении Интернета. 
Это значит, что в период с настоящего момента до 2014 года мы должны пережить ещё один кризис сопоставимого масштаба, то есть мы можем наблюдать его зарождение уже сейчас внутри пятилетнего горизонта предсказаний – однако этот кризис вовсе не будет той окончательной глобальной катастрофой, о которой мы говорим, и между ним и кризисом самой модели в 2020-е годы возможен «островок стабильности» в несколько лет.
Несколько независимых исследователей пришли к мысли о возможности технологической сингулярности в районе 2030 года, экстраполируя различные тенденции – от уровня миниатюризации устройств до мощностей компьютеров, необходимых, чтобы симулировать человеческий мозг. Сингулярность не отличается математически от режима с обострением, то есть катастрофы, и как завершение огромной исторической эпохи она, безусловно, будет катастрофой. Однако Сингулярность может быть позитивной, если она сохранит людей и значительно расширит их потенциал, и соответственно, негативной, если в результате этого процесса люди погибнут или лишатся того большого будущего, которое у них могло бы быть. С точки зрения нашего исследования мы будем считать позитивным любой исход Сингулярности, после которого люди продолжаю жить. 
Наиболее быстрым, сложным и непредсказуемым процессом, который часто отождествляется с Технологичной Сингулярностью, является возникновение универсального, способного к самосовершенствованию ИИ и его гиперболический рост. (Можно показать, что само ускорение развития, которое имело место в прошлом, связано именно с ускорением и улучшением способов решение задач – от простого перебора, к половому отбору, появлению человека, языка, письменности, науки, компьютеров, венчурного инвестирования – каждый следующий шаг был шагом в развитии интеллекта и возможный в будущем самосовершенствующийся ИИ только продолжает эту тенденцию.)
В отношении Сингулярности можно сформулировать несколько кажущихся достоверными высказываний. 
Во-первых, Сингулярность формирует абсолютный горизонт прогноза. Мы точно не можем сказать, что будет после Сингулярности, поскольку речь идёт о бесконечно сложном процессе. Более того, мы не можем сказать ничего ни о самом моменте Сингулярности, ни об определённом промежутке времени перед ней. Мы можем высказывать только определённые предположения о том, когда будет Сингулярность, однако и здесь есть большой разброс. На самом деле, ничего не мешает наступить Сингулярности прямо завтра в случае неожиданного прорыва в исследовании ИИ. 
Во-вторых, с точки зрения наших современных воззрений, актуальная бесконечность не может быть достигнута. В силу этого абсолютная Сингулярность не достижима. Это можно интерпретировать так, что по мере приближения к Сингулярности в системе усиливаются различные колебательные процессы, которые разрушают её раньше достижения точки бесконечности. Если это так, то перед Сингулярностью плотность вероятности глобальных катастроф неограниченно возрастает. (Ср. с концепцией Малинецкого о увеличении частоты и амплитуды колебаний в системе перед катастрофой.) 
В-третьих, к Сингулярности вся система подходит целиком. Это значит, что не следует ожидать того, что Сингулярность не затронет кого-либо, или что будет несколько разных Сингулярностей.
С точки зрения нашего исследования, важно отметить, что глобальная катастрофа – это не обязательно и есть сама Технологическая Сингулярность. Глобальная катастрофа может быть масштабным, но, в конечном счёте, простым процессом, вроде столкновения с астероидом. В глобальной катастрофе есть признаки режима с обострением, как например, резкое ускорение плотности событий в момент касания астероидом Земли (длится 1 секунду), но нет сверхинтеллекта, которые по определению не постижим. 
Из сказанного следует, что если принять концепцию Технологической Сингулярности, то мы ничего не можем сделать, чтобы измерить или предотвратить риски после Сингулярности, но должны предотвращать их до неё (особенно в период повышенной уязвимости перед ней) и стремится к позитивной Сингулярности. 
Подробнее о Технологической Сингулярности можно почитать в статьях и книгах: Вернор Виндж. «Технологическая Сингулярность».
(http://www.computerra.ru/Authors/2922/), Юдковски «Вглядываясь в Сингулярность», Дэвид Брин «Сингулярность и кошмары», Майкл Диринг «Рассвет Сингулярности».
4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов.
Некоторые ресурсы могут не просто закончиться, но быть исчерпаны, так сказать, в минус. Например, сверхэксплуатация почв приводит к их быстро и полной эрозии. Этот вопрос исследовался Медоузом в его «Пределах роста». Исследуя математические модели, он показал, что перебор в потреблении некого ресурса приводит затем систему неизбежно на край гибели. Например, избыток хищников приводит к такому истощению числа жертв, что затем все жертвы до единой погибают, и сами хищники обречены на голод. Другой пример – когда загрязнение окружающей среды настолько велико, что помимо самого загрязнения поражает и способность среды к самовосстановлению.
Кредитный цикл Мински определённым образом относится не только к деньгам, но и к истощающему перепотреблению (то, что называется термином «overshoot») любого природного ресурса. При этом человечеству свойственно сверхисчерпывать любой ресурс, который ему стал доступен. В этом смысле не удивительно, что перепотребление многих ресурсов происходит практически одновременно – ведь перерасходование одного ресурса можно скрыть, расходуя другой. Например, исчерпание денег на выплату ипотеки можно скрыть, оплачивая её через кредитную карточку; точно также исчерпание на 30 процентов пригодных для сельского хозяйства земель со времени второй мировой войны можно скрыть, вкладывая больше ресурсов (то есть энергии) в культивацию оставшихся земель; или исчерпание водоносных горизонтов можно скрыть, затрачивая больше энергии на добычу воды из более глубоких горизонтов. Проблемы сверхисчерпания людям всякий раз удавалось преодолеть, совершив технологический скачок, как это было в неолитическую революцию. Однако это не всегда происходило плавно, то есть иногда решение находилось, только когда полномасштабный кризис уже разверзался. Например, неолитическая революция – переход от собирательства к оседлому сельскому хозяйству – произошла только после того, как население значительно сократилось в результате сверхисчерпания ресурсов в обществе охотников-собирателей. 
В XXI веке нам угрожает одновременное исчерпание многих важных ресурсов вследствие уже сейчас происходящего перепотребления. Перечислим разные предположения об исчерпании, не обсуждая истинность или ложность каждого в отдельности. С экономической точки зрения окончательное исчерпание никакого ресурса невозможно, вопрос в том, сколько он будет стоить и хватит ли его на всех. В связи с этим выделяют не момент исчерпания, а момент максимума добычи (пик) и затем период быстрого спада производства ресурса. 
Период спада может быть даже опаснее периода полного отсутствия, поскольку именно в этот момент развернётся отчаянная борьба за ресурс, то есть может начаться война. 
Пик добычи рыбы – пройден в 1989 году
Исчерпания пригодных для земледелия земель
Пик производства пищи в целом
Пик нефти – возможно, в настоящий момент
Пик газа – позже, но более резкий спад после него.
Выведение из эксплуатации ядерных реакторов
Исчерпание питьевой воды и воды для орошения.
Исчерпания ряда цветных и редких металлов (к 2050 г.)
Ещё раз подчеркну, что в данной работе проблема исчерпания ресурсов рассматривается только с точки зрения того, может ли она привести к окончательному вымиранию человечества, и утверждается, что само по себе – не может, но только если запустит некий ещё более опасный процесс.
Интересно изучить следующий вопрос. Если финансовая система банкротится, то это означает, что у неё кончаются все источники денег, а если исчерпываются ресурсы технологической цивилизации, то это значит, что у неё одновременно заканчиваются все ресурсы, поскольку энергия выполняет функцию денег в технологической системе, и позволяет добывать любой ресурс, пока энергия есть (например, качать воду из глубинных пластов). Вопрос возникает, следует ли из этого эквивалентность денег и энергии, а значит, будет ли энергетический кризис также и финансовым, и наоборот? Думаю, что да. Грубо говоря, потому что реальные деньги означают возможность купить товары. Если же экономика перейдёт в дефицитный режим, то возможность приобрести что-нибудь ценное за деньги испарится.
4.7. Системный кризис и технологические риски.
Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня. 
4.8. Степень мотивации и осведомленности как факторы глобального риска.
Как справедливо подчёркивает А.Кононов, задача неуничтожимости должна осознаваться в качестве главнейшей любой цивилизацией, которая существует в катастрофически нестабильной вселенной. Точно так же, как у каждого человека на базовом уровне прошит инстинкт самосохранения. В целом, мы можем предположить, что чем больше осознание важности сохранения цивилизации на всех её уровнях от инженера до правителя, тем больше шансов у неё выжить. (Хотя возможен сценарий, когда стремление к выживанию приведёт к борьбе одних групп с другими или борьбе спасателей.)
Соответственно, то, как растёт осознанность и мотивация цивилизации в отношении её самосохранения, является мощнейшим фактором её выживания. В статье «О возможных причинах недооценки вероятности глобальных рисков» я рассматриваю список факторов, по которым люди могут неверно оценивать вероятность глобальных катастроф, чаще всего в сторону занижения. Однако не менее важно то, что, как в это не трудно поверить, люди могут не стремиться к предотвращению глобальных катастроф. Или, например, недостаточно стремиться. Скажем, Рейган считал приемлемым повысить риск в ядерной войны, чтобы достичь победы в холодной войне с СССР. Это значит, что цель выживания человеческой цивилизации была для него не первостепенной. И это обусловлено эволюционной психологии, поскольку альфа-самец достигает своего статуса вожака стаи, проявляя готовность рискнуть своей жизнью в схватках с другими альфа-самцами, и эта модель поведения закрепляется генетически, так как у победивших самцов больше детей, чем у погибших в процессе борьба за место вожака. 
Итак, мы можем сказать, что способность цивилизации к выживанию в значительной сфере определяется двумя факторами – степенью её осведомленности о различных рисках, и степенью её мотивации в их предотвращении. При этом эти два фактора связаны, так как большая мотивация ведёт к более тщательным исследованиям, а важные исследования, проливающие свет на новые риски, могут усилить мотивацию. Всё же влияние мотивации представляется более первичным. Хотя теоретически все поддерживают предотвращение глобальных рисков, на практике эта цель находится на последнем месте, что видно по числу публикаций по теме и финансированию исследований. (Спросите своё правительство – готово ли оно вкладывать ресурсы в технологию, которая даст уменьшение глобальных рисков на 1 процент через 100 лет. Тем не менее это равносильно согласию на вымирание человечества через 10 000 лет. Вероятно, есть некий биологический механизм, в силу которого сохранение жизни детей и внуков очень важно, а жизни пра-пра-пра-правнуков – абсолютно неважно.)
Мы можем пытаться учесть эти два фактора как некие коэффициенты от их максимального значения. Если предположить в качестве максимальной степени мотивации усилия страны в войне, а в качестве меры реальной мотивации – долю финансирования лиц и организаций в США, занимающихся предотвращением глобальных рисков целом (порядка 1 млн. долларов в год в лучшем случае; при этом мы не рассматриваем узкоспециализированный программы, которые лучше финансируются, так как они не предполагают целостной защиты, учитывающей весь комплекс взаимосвязей в связи с глобальными рисками, например, антиастероидную программу) – то разница составит около 1 миллиона (предполагая, что США могли бы расходовать на войну около 1 триллиона долларов). При этом, однако, ситуация значительно улучшается – если в 2000 году не было ни одного человека, занимающегося исследованием и предотвращением глобальных рисков на постоянно оплачиваемой основе, то теперь такие должности есть в США и Великобритании. Всё же, несмотря на то, что ситуация улучшается, она выглядит чудовищно запущенной. 
Осведомленность следовало бы измерять как долю полной осведомленности, какая бы могла быть только у некой сверхцивилизации. Под осведомленностью я имею в виду наличие общепризнанного, строго доказанного и широко известного описания проблемы глобальных рисков. Поэтому, даже если бы эта книга содержала такое описание, то она не давала бы полной осведомленности, поскольку очевидно, что подавляющее большинство людей не читали её, а большинство тех, кто читали, имеют те или иные возражения. Итак, если мы скажем, что наша осведомленность составляет тысячную долю от максимально возможной осведомленности, это будет очень оптимистическая оценка. При этом я имею в виду максимально достижимую возможную осведомленность на данном технологическом уровне, а не абсолютную осведомленность мага, который предвидит будущее. 
Даже максимальная мотивация и абсолютная осведомленность не дают 100 процентных шансов выживания, поскольку возможны катастрофы, связанные с необоримыми природными силами или непредсказуемыми вероятностными процессами в духе теории хаоса. Осведомленность и мотивация не позволяет людям жить вечно. Общую живучесть цивилизации можно было бы оценить как произведение осведомленности на мотивацию, но в случае земной цивилизации мы бы получили досадную одну миллиардную от максимально возможной. Остается надеяться, что при появлении на горизонте неких чрезвычайных обстоятельств, мотивация может быстро возрасти. 
Итак, мы должны рассматривать любые события, влияющие на мотивацию и на знание о глобальных рисках, как на факторы глобальных рисков второго рода.
Факторы, повышающие мотивацию:
1) Крупные катастрофы любого рода
2) Публикации, влияющие на общественное мнение.
Факторы, ослабляющие мотивацию:
1) Долгие периоды покоя и благоденствия.
2) Публикации, успокаивающие людей.
3) Ошибочные несбывшиеся прогнозы.
Факторы, влияющие на осведомленность:
1) Количество людей, участвующих в дискуссии на тему, и их профессиональные качества.
2) Длительность истории дискуссии и информационная прозрачность.
3) Разработанность методологии.
4) Мотивация в развитии осведомленности.
Фактор, ослабляющий осведомленность: 
1) Гибель учёных или разрыв традиции в случае некой катастрофы средней тяжести.
2) Распространение заблуждений и/или идеологический раскол.
Выводы: наша неосведомленность и немотивированность в предотвращении глобальных катастроф может быть гораздо более серьёзным фактором, чем риски, создаваемые любым физическим источником риска. Это подобно тому, как больше половины катастроф самолётов происходит из-за ошибок пилотов, а не из-за технических или природных причин. 

5. КРИПТОВОЙНЫ, ГОНКА ВООРУЖЕНИЙ И ДРУГИЕ СЦЕНАРНЫЕ ФАКТОРЫ, ПОВЫШАЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
5.1. Криптовойна.
Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С.Лема). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире:
Недоверие стран друг другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет, в результате может разгореться мировая война всех против всех и одновременный скачок в опасных технологиях. 
Криптовойна будет во многом террористической – то есть информационное воздействие от удара должно превышать непосредственный ущерб. Но смысл этого будет не столько в создании страха – террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные «гипотезы». Многие политические убийства современности уже являются актами «криптовойны», например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его на свою пользу, спихнув вину на другого. 
5.2. Уязвимость к сверхмалым воздействиям.
Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям (Более того, за счёт нелинейного сложения, несколько очень слабых событий может иметь значительно больший эффект, чем каждое в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужнее сверхум, способный смоделировать сверхсложную систему. А значит, этот ум должен быть сложнее этой системы, и эта система не должна содержать других таких умов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны. 
Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю достаточным умом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. (Например, недавно в Европе ограбили банк таким образом – взяли в заложники семью сотрудника, и он сам всё вынес.) Так пока вероятно нельзя уничтожить мир, но спровоцировать гигантский бардак можно – то есть перевести систему на более низкий уровень организации. В состоянии бардака вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет – то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны – для них такое событие станет спусковым крючком опасной гонки вооружений.)
5.3. Гонка вооружений.
Гонка вооружений опасна не только тем, что она будет использована нарочно для создания оружия судного дня. В процесс скоростной гонки вооружений придётся ставить опасные эксперименты с пониженными требованиями безопасности и с более высокой вероятностью утечек. Кроме того, сверхоружие всеобщего уничтожения может оказаться побочным результатом или частным случаем применения обычного оружия. Например, идея о кобальтовой бомбе возникла после того, как необходимая для неё обычная атомная бомба была придумана и создана. Развитие технологии производства боевых отравляющих насекомых даст возможность создать такой вид, который заполонит всю Землю. Наконец, применение в больших количествах какого-то одного оружия также может перевести человечество на более низкую стадию развития, на которой вымирание более возможно. 
5.4. Моральная деградация.
Часто говорят, что моральная деградация может погубить человечество. Понятно, что моральная деградация не может быть глобальным риском первого рода, так как сама по себе она никого не убивает – да и разговоры о моральном упадке идут со времён Древней Греции. Тем не менее, моральная деградация элит была существенным фактором падения Римской империи. 
При этом «в моральную деградацию» я не вкладываю оценки собственно моральной оценки, а имею в виду те модели поведения, которые делают общество менее устойчивым. В первую очередь, это предпочтение личных и краткосрочных целей над общественными и долгосрочными. Отметим, что если раньше культура была нацелена на пропаганду целей, полезных устойчивости общества, то теперь – наоборот. Однако от этого все не стали убийцами. Примером современной «моральной деградации» являются слова президента Клинтона о том, что он «брал сигарету с травкой, но не затягивался». Она угрожает в первую очередь «властным элитам» и смысле глобальных рисков может проявиться в неспособности властных элит адекватно реагировать на угрозы. То есть реакция возможна, но ложь, недоверие друг к другу и отмывание денег может подорвать любые инициативы в области глобальных рисков.
Далее, система критична к концентрации ненадёжных элементов. Если их достаточно мало, они не сталкиваются друг с другом и не нарушают устойчивости. Если их больше некого критического количества, они образуют свою внутреннюю связную структуру. Даже небольшой прирост такой концентрации в районе критического порога может серьёзно увеличить степень неустойчивости системы. 
Наконец, даже небольшое снижение общего морального уровня общества значительно повышает «вес» тяжёлых хвостов распределения, то есть увеличивает число потенциальных «геростратов». 
Надо отметить, что рост образованного населения Земли также увеличивает число людей, которые могут сознательно хотеть глобальной катастрофы и обладать необходимыми знаниями.
Есть мнение, восходящее ещё к К.Марксу, что корни возможной неустойчивости – в самой природе общества, построенного на конкуренции. Инвестиции в долгосрочные проекты ослабляет конкурентоспособность в краткосрочных, так как ресурсы уходят в дальние проекты. В результате в среднесрочной перспективе те люди, страны и организации, которые не уделяли достаточно внимания краткосрочным проектам, терпят поражение. (Это рассуждение можно сравнить с рассуждением Н. Бострома о «хоббистах» в его статье «Угрозы существованию», где показывалось, что эволюция остеит те сообщества, которые не будут тратить все средства на выживание.) с другой стороны, та группы людей, которая научилась сотрудничать, оказывается в более выигрышной ситуации, чем отдельный человек, отказывающийся от сотрудничества. В любом случае, в современном обществе есть разрыв между качественным ближайшим планированием (до выборов, до зарплаты, до окупаемости предприятия), и долгосрочным планированием, при котором вес рисков становится велик.
5.5. Враждебность как сценарный фактор.
Очевидно, что любой кризис приведёт к росту враждебности на Земле. (Как, например, происходит в обычном государстве после крупного политического убийства или неудачной войны – примеры: война с Японией в 1905 г., война во Вьетнаме.) Одним из ярких недавних примеров всплеска враждебности в мире была ситуация, сложившаяся после терактов 11 сентября 2001 года, когда многие люди ожидали, что «война цивилизаций» примет характер мировой войны. 
Эта враждебность будет состоять из нескольких факторов:
1. Поляризации общества на разные группы, которые ненавидят друг друга.
2. Рост накала негативных эмоций и повышение числа людей, готовых к насилию и хотящих этого, что повышает риск терактов и инцидентов с оружием массового поражения.
3. Утрата доверия всех ко всем и разрушение связности системы. Доверие – необходимая часть экономической системы, основанной на кредите.
4. Рост гонки вооружений и обострение всех застарелых конфликтов.
5. Риск начала мировой войны в той или иной форме. 
6. Ожидания неизбежности поворота событий от плохого к худшему, что может порождать самосбывающиеся пророчества. 
5.6. Месть как сценарный фактор.
Месть является продолжением враждебности, но в высшей форме. Допустим, между двумя крупными державами произошла ядерная война, и одна из держав её полностью проиграла – ей нанесли неприемлемый ущерб, тогда как другая отделалась лёгкими повреждениями. У проигравший стороны – потеря половины населения, всех крупных городов, оборонного потенциала. Весьма вероятно, что в этом случае месть станет национальной идеей. Опыт истории показывает, что некоторые народы можно загонять в пыль, а они порождают всё более агрессивные и опасные формы сопротивления. Например, Бен Ладен возрос в Афганистане. Другие примеры – Чечня, палестинцы. В силу этого ядерная война не сделает мир более стабильным. Наоборот, он создаст настолько непреодолимые противоречия, что мир станет ещё опаснее. Проигравшая сторона будет не против применить любую машину судного дня, потому что людям, потерявшим свои семьи, свою родину, нечего терять.
Победившая сторона должна в этом случае решиться или на геноцид, или на оккупацию. Современная страны западной цивилизации не могут решиться на геноцид, потому что в этом случае им придётся утратить свою идентичность. Оккупация тоже плохо работает, потому что превращается в войну без конца. Технологично выглядит идея оккупации с помощью роботов, что, однако, равносильно превращению побеждённой страны в электронной концлагерь. 
5.7. Война как сценарный фактор.
Войны были всю историю человечества, и сама по себе война не может привести к человеческому вымиранию, однако в современном мире война может:
1) Война может создать условия для применения оружия судного дня. А также привести к неконтролируемому применению ядерного оружия.
2) Война может спровоцировать ещё большую войну.
3) Война может вызывать экономический кризис. Раньше войны помогали бороться с кризисами перепроизводства, но это было верно для старого мира, в котором не было единого мирового производства и финансов.
4) Любая война провоцирует гонку вооружений, даже и у не участвующих стран. При этом любая гонка вооружений связана с прогрессом всё более автономных от человека машин. Она также связана со снижением критериев безопасности ради большей эффективности в условиях катастрофической нехватки времени. 
5) Война может стать спусковым событием для некой цепочки событий, ведущей к кризису. 
6) Война делает возможными крупные диверсии и криптовойны.
7) В ходе войны могут происходить глобальные катастрофы по типу утечки, например, при разрушении хранилищ и лабораторий по производству биологического оружия
8) Война увеличивает количество людей, переживающих чувства отчаяния и жажду мести, и, следовательно, увеличивает вероятность создания и применения оружия судного дня. 
9) Война препятствует совместным организованным усилиям по предотвращению и ликвидации последствий разного рода катастроф.
10) Война может привести к тому, что краткосрочные цели застилают средне- и долгосрочные перспективы. То есть в ходе войны могут быть упущены из виду глобальные угрозы, которые не связаны с войной – или долгосрочные последствия действий, которые необходимы для выживания сегодня. 
11) Война может порождать интернациональные террористические сети. 
12) Война приводит к расколу общества на чёрных и белых даже в не участвующих странах, что может производить к эффекту самовоспроизведения войны. Например, во всех странах возникали коммунистические партии, и во многих они начинали вооружённую борьбу.
13) Война может привести к разорению и переходу мира на «постапокалиптическую» стадию. Это может произойти, даже если война не будет ядерной. Но для этого она должна быть всемирной. Сетевая война или гражданская более склонна к тому, чтобы быть всемирной. Так называемое «столкновение цивилизаций», то есть война за всемирный халифат, может принять форму такого конфликта. В классической войне всегда есть тыловые территории, в которых происходит основное развитие новых технологий, необходимых для войны. В сетевой войне не будет тыловых территорий. 
Война всегда содержит гораздо больший элемент непредсказуемости, чем политика в мирное время. Война также служит ускорителем темпа исторического времени. Поскольку ряд прогнозов говорит нам о неминуемом ускорении прогресса в первой трети XXI века, то можно связать это с возможностью войны. 
При этом под войной мы имеем в виду классическое вооружённое столкновение двух населёнными людьми стран. Вооружённая борьба людей и роботов, людей и сверхлюдей или двух ИИ между собой или людей с опасным вирусом не будет классической войной. Но такая война может означать геноцид людей, в отличие от обычной войны, которая не нацелена на уничтожение всех людей.
Война может быть двух классов: это или вооружённое противостояние с некими локальными целями (сепаратисты, предотвращение создания оружия массового поражения, оккупация части другой страны), или мировая война. Я полагаю, что любая мировая война является войной за мировое господство, что можно иначе назвать «войной за объединение планеты» и имеет своей целью установить вечный всемирный режим. Вторая мировая война, Холодная война и борьба с Халифатом в значительной мере подходят под это определение. 
Чем позже такая война произойдёт, тем сильнее будут её участники и тем хуже последствия. Возможно, нашей планете сильно не повезло в том, что она не объединилась в единое всепланетное государство сразу после второй мировой войны. 
Выводы: даже самая небольшая война обладает мощнейшем потенциалом в том, чтобы раскручивать глобальные риски. 
5.8. Деградация биосферы.
В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения как живых существ на Земле, так и особенно их среды обитания люди уже никогда не смогут вернуться на доисторический уровень существования. Обычные охота и земледелие станут невозможны – только выращивание всех необходимых продуктов в герметичных парниках. И если вымерших животных можно восстановить, просто выпустив «каждой твари по паре», то также просто восстановить почву и воздух не получится. 
И хотя кислорода, накопленного в атмосфере, хватит ещё на тысячелетия сжигания топлива, то утилизировать углекислый газ в случае смерти биосферы будет уже не кому, что усилит шансы необратимого глобального потепления. 
Вывод: Чем сильнее повреждена среда обитания, тем выше минимальный технологический уровень, на котором может выживать человечество. 
5.9. Глобальная дезинфекция.
Распространение опасных биологических форм может привести к полному заражению ими биосферы. В этом случае возможны такие варианты:
А) Людям придётся изолироваться в защищённые убежища. Однако всегда будет оставаться угроза заноса опасных биологических агентов снаружи.
Б) Биологическая борьба с опасными агентами: распыление антибиотиков, антивирусов.
В) Создание искусственной иммунной системы всей Земли. Но это возможно только после предварительной «зачистки» и сопряжено с новыми угрозами, связанными с риском «автоиммунных реакций». 
Г) Тотальная стерилизация живой природы. В этом случае людям придётся полностью уничтожить всю живую природу, чтобы вместе с ней уничтожить укоренившиеся в ней опасные организмы. Это означает, что люди уже не смогут вернуться назад, к естественному образу жизни. Однако после стерилизации возможно повторное заселение Земли живыми существами из «зоопарков». Сам момент глобальной стерилизации опасен для человечества, так как подразумевает высвобождение универсального, убивающего всё живое агента, например, радиоактивного вещества или излучения. 
5.10. Экономика как сценарный фактор.
Основной глобализации является единая мировая экономика, а основой экономики – финансы. Финансы осуществляют управление потоком производственных сил, создавая города в пустыне или атомные заводы в заполярье. Чем сложнее система, тем больше в ней роль «верхних этажей» управления. Поэтому разрушение финансов может иметь катастрофические последствия, хотя финансы невозможно увидеть взглядом. Деньги являются обязательствами, данными относительного будущего. Именно наше ожидание того, что они сохранят свою ценность через год и через несколько лет придаёт им ценность сейчас. Соответственно, финансы являются инструментом конструирования будущего. Дезорганизация этого инструмента может существенно отбросить мир назад. 
Аналогом экономики в человеческом обществе является экологическое равновесие видов в природе. И огромное число видов в природе вымерло, потому что нарушилось это равновесие, например, появились конкуренты или исчезло питание, или изменились условия среды.
5.11. Точка абсолютной уязвимости.
Это гипотетическая точка в системе, бесконечно малое воздействие на которое приводит к бесконечно большим последствиям. Чем сложнее система, тем больше шансов, что у неё есть такая точка. Чем выше интеллект и информированность противника этой системы, тем легче ему рассчитать или создать такую точку. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения. 
Скорее всего, речь может идти о:
• Решении о начале войны (выстрел в Сараево)
• Начале техногенной аварии (Чернобыль)
• Биржевой панике
• Отклонении орбиты астероида
Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:
Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно. Я сильно удивляюсь, что авиамодели до сих пор не запретили. Объекты для атаки: президенты, самолёты, электроподстанции, вычислительные центры, системы управления ядерным оружием.
Сложные атаки с использованием Интернета и компьютеров. Например, создание закладки в компьютере, которая выдаёт неправильные данные только одному брокеру, заставляя его принимать неправильные решения. 
Информационная атака – дезинформация – например, пустит слух (качественно сфабрикованный), что президент враждебной страны сошёл с ума и готовит превентивный удар по «нам» - это вызывает у «нас» желание ударить первыми. Что, очевидно, запускает положительную обратную параноидальную связь. 
5.12. Раскачивающее управление.
Эффект обнаружен пионером кибернетики фон Нейманом. Он проявляется в дрожании рук больных паркинсонизмом и в управлении самолетами и артиллерийской стрельбой. Суть его состоит в том, что управляющая система получает информацию о состоянии управляемого параметра с запаздыванием, и в результате управляющее воздействие не вычитается из параметра, а складывается с ним, приводя ко всё большим колебаниям. В отношении глобальных рисков и новых технологий это может проявляться в том, что понимание сути этих принципиально новых процессов будет отставать от развития самой проблемы, в силу чего попытки разрешить проблему будут только усиливать её.
5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска. 
Наше знание по-разному влияет на вероятность разных рисков. Можно выделить, так сказать, «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться – в отличие от рисков, которые мы можем приготовиться достаточно легко. Подготовка к риску включает в себя то, что мы:
1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры против него. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)
2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может придти риск.
3. В момент начала риска, мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем привести в жизнь в правильное время.
4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.
5. Мы обладаем таким количеством ресурсов, которое позволяет минимализировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.
Иначе говоря, контролируемый риск – этот риск, которым мы можем управлять, делая его произвольно малым. 
С другой стороны, можно описать неконтролируемый риск:
1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а следовательно, нулевой.
2. Это событие устроено так, что оно не имеет никаких предвестников, или они нам неизвестны.
3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимализировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.
4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает. 
5. Наших ресурсов не хватает, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.
Изложенная модель неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию того, что когда некий опасный процесс начнётся, люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлый катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, исходя из неё, действуют. Тут не обойтись без нескольких примеров:
Пилоты Боинга, вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы рулевой «Титаника» ударился в айсберг строго в лоб, а не скользящим ударом, судно бы не потонуло. 
Проводник поезда в Германии решил пойти в конец поезда и посмотреть, что там происходит, вместо того, чтобы сразу дёрнуть за стоп-кран – в результате поезд сошёл с рельс со значительными жертвами. 
В критических ситуациях людям очень трудно принимать решения, потому что эти ситуации:
• Не очевидны им как критические
• Никогда ещё не случались в их практике
• Они испытывают давление эмоций, страхов, нехватки времени и предрассудков
• Они обладают неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки.
• Они понимают то, что сказано в инструкциях иначе, чем авторы инструкций.
И по ряду других причин, существенных именно для глобальных катастроф, о которых идёт речь в статье Е.Юдковски «Систематические ошибки в рассуждениях о глобальных рисках» и в моей статье «О возможных причинах недооценки рисков уничтожения человеческой цивилизации». Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание требует месяцев тщательного изучения, и, тем не менее, всегда остаются неясности, сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 процентах случаев аварии связаны с человеческим фактором, и в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы управления Землёй могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.
Чем малопонятнее новые технологии, тем они автономнее от общественного контроля. Люди могут участвовать в опасных процессах, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в «Сумме технологий», где ИИ используется в качестве советчика по управлению государством. Разумеется, все советы, которые кажутся вредными, отклоняются. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело через много лет и несколько промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели баланса природных ресурсов, которые были поставлены перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным. 
Дрекслер так описывает этот риск: «Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными" (ее курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.»(«Машины созидания», гл.13)
5.14. Открытия.
Важным элементом прогноза будущего является возможность новых принципиальных открытий. Эти открытия могут быть двух родов: те, которые уже обдуманы в научной фантастике, и некие совершенно новые открытия, даже идея которых не могла придти в голову ранее (примером чего являются квантовая механика, квантовые компьютеры, компьютерная мышь и отчасти интернет). Понятно, что открытия принципиально не поддаются прогнозу, но можно рассмотреть некоторые возможности. Самое главное в нашем контексте - это то, что каждое новое открытие создаёт новые возможности для глобальных рисков.
• Если изобретут антигравитацию, это может дестабилизировать Землю или позволит создать быстрые и незаметные ракеты с ядерными зарядами.
• Если изобретут трансмутацию химических элементов, это позволит накапливать опасные радионуклиды.
• Если откроют дверь в параллельный мир, то неизвестно, что оттуда прилетит.
• Любое открытие нового источника энергии позволит создавать новые бомбы и ракеты.
• Любой способ получения информации сделает возможной более совершенную разведку и наведение.
• Любая новая среда даст возможность появления в ней самокопирующихся единиц.
• Любое открытие в области биологии приближает создание биологического оружия, а в области понимания работы мозга – ИИ, сверхнаркотика и средств тотального контроля. 
5.15. Общие модели поведения систем на грани устойчивости. 
Г.Малинецким обнаружены общие признаки поведения кривых, описывающие различные системы перед катастрофой. Они состоят в том, что некий параметр быстро растёт, в то время как скорость его колебаний вокруг среднего значения возрастает. Можно объяснить это так: по мере того, как система становится критической, отдельные сбои в ней оказываются всё ближе друг к другу и между ними начинают всё чаще возникать цепочки связи, маленькие лавины. От этого параметры системы начинают дергаться. Однако инерция гомеостаза системы пока ещё достаточно сильна, чтобы удерживать её в оптимальный параметрах. Появление всё новых и новых технологий и реализация разных сценарных факторов увеличивает число кирпичиков, из которых может сложиться опасный процесс, причём увеличивает нелинейно, а в степени, пропорциональной длине опасной цепочки.
Поэтому можно предположить, что признаком приближения глобальной катастрофы может быть увеличение числа несвязанных друг с другом катастроф и опасных процессов, каждый из которых будет завершаться относительно благополучно. (Но это совершенно не обязательный признак: катастрофа может наступить и совершенно внезапно; кроме того, есть такой признак, как «затишье перед бурей», подтверждённый на примере землетрясений, когда система перестаёт выдавать сбои в течение неожиданно большого времени. Впрочем, само «затишье» тоже является скачком параметра. Скачки могут быть не только в сторону ухудшения, но и в сторону внезапного улучшения. Так, иногда больные лучше чувствуют себя перед смертью, а фондовый рынок растёт перед рецессией.) В экономике одним из признаков наступающей рецессии является противоречивость параметров, что указывает на то, что система выходит из нормального и предсказуемого режима работы. И возможно, что система вышла из управляемого состояния, но ещё находится в пределах своих параметров – так самолёт, потерявший управление, ещё некоторое время летит в своём воздушном коридоре. 
Состояние непредсказуемости и изменчивости, предшествующее катастрофе, и, в частности, проявляющееся в скачках параметров, является нарастающим состоянием хаоса (то есть сверхсложного многопараметрического состояния), в котором отдельные обстоятельства могут определить её будущее. Появление такого состояния в мире было бы опасным сигналом, однако пока что я его не вижу. Историческим примером такого состояния можно назвать резкий рост природных и техногенных аварий перед началом распада СССР (Чернобыль, «Нахимов», Спитак, взрыв газа с двумя поездами), который затем распространился и на социальные проявления (Карабах, Сумгаит, Ферганская долина).
5.16. Переход катастрофического процесса с одного уровня на другой.
Как пожар способен распространяться с проводки на занавески, с занавесок на воздуховоды, оттуда на крышу, и затем обратно вниз, так и глобальный катастрофический процесс способен менять свою природу, с каждым переходом усиливаясь и ускоряясь. Я уже говорил об этом в статье о причинах недооценки глобальных рисков. Однако там был сделан акцент на том, что мы не можем предположить такого развития сценария, как переход из одного жанра в другой. Здесь же я указываю на это как на общее свойство серьёзных катастрофических сценариев. Оно связано с устойчивостью катастрофического процесса, о которой шла речь выше. Например, при катастрофе Титаника природа катастрофы менялась несколько раз: столкновение - паника – замерзание в воде - утопление. При падении небольшого астероида это будет: взрыв – цунами – эпидемии – экономический спад. При этом каждая последующая фаза относительно независима от предыдущей.
5.17. Схемы сценариев.
Хотя мы не можем создать конкретный сценарий глобальной катастрофы по причине того, что возможно очень много вариантов, а наши знания ограничены, мы можем воспользоваться помощью сценариев второго порядка, которые описывают общие закономерности того, как стыкуются друг с другом сценарные факторы. Примером такого сценария второго порядка является «противостояние меча и щита». Или общий ход шахматной партии – от дебюта к эндшпилю.
5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий.
Примером работы этой схемы является война Японии и США в ходе Второй мировой войны. Япония начала войну, чтобы захватить нефтеносные поля в Индонезии, что было невозможно без войны с США и Великобританией, поскольку сама не имела источников жидкого ископаемого топлива. Война нанесла сторонам гораздо больший ущерб, чем сам факт нехватки топлива. Однако ещё более существенным с точки зрения рисков фактором было то, что война решительно ускорила гонку вооружений в обеих странах. И хотя японцы значительно продвинулись в создании и испытании блох, заражённых чумой, успеха достигли американцы с атомной бомбой. Атомная бомба создала гораздо больший риск гораздо больших жертв, чем принесла сама Вторая мировая война. 
Неожиданным результатом атомных бомб стала возможность создания водородной бомбы и особенно кобальтовой сверхбомбы, загрязняющей целые континенты. То есть технология дала гораздо больше, чем от неё в начале требовалось. (Похожая ситуация была и в развитие ракет и компьютеров, после того, как начальные трудности были преодолены, так что это вполне закономерный итог.) Наконец, вполне закономерным выглядит то, что атомное оружие постепенно, но неудержимо стало распространяться по планете. Ещё одним закономерным итогом было то, что ядерное оружие стало конвергироваться с другими продвинутыми технологиями своего времени – ракетным и компьютерными технологиями, породив межконтинентальные ракеты. 

6. ГЛОБАЛЬНЫЕ РИСКИ ТРЕТЬЕГО РОДА. 
6.1. Определение. 
Глобальными рисками третьего рода мы назовём любые события, которые замедляют или ускоряют ход, или меняют порядок развития сверхтехнологий на Земле, и в силу этого оказывают косвенное, но решающее влияние на возможные сценарии глобальных катастроф. Здесь можно обнаружить следующие взаимосвязи между катастрофами разных масштабов и их влиянием на развитие и очерёдность технологий. 
1. Любая крупная авария или катастрофа может замедлить развитие технологий. Например, экономический кризис приведёт к остановке работ на ускорителях, что уменьшит шансы на создание «чёрной дыры». Уменьшится выделение денег на био- и ИИ исследования, но их это затронет в меньшей степени.
2. Колоссальная, но не окончательная катастрофа остановит почти все исследования, даже если некоторое количество людей выживет. 
3. Любая авария средней тяжести приведёт к росту мер безопасности и сокращению проектов в своей области.
4. Военный конфликт приведёт к гонке вооружений и росту числа исследований. Направления перспективных исследований будут выбираться с учётом мнения неких ключевых людей. Например, в РФ сейчас стартовала военная программа по нанотехнологиям. Это бы не произошло, если бы те, кто принимают решения и их советчики никогда бы не слышали про нанотехнологии. Ядерная программа США не стартовала бы, если бы не письмо Эйнштейна. С другой стороны, универсальный ИИ как абсолютное оружие сейчас обойдён вниманием властей, насколько это известно. Однако вечно это продолжаться не будет. Как только власти поймут, что частные лаборатории, создающие сильный ИИ, возможно, обладают силами для глобального мятежа – они приберут их к рукам. Соответственно, прослышав, что в одной стране власти сделали ставку на мощный ИИ, и другие страны могут так поступить, а также отдельные организации и крупные фирмы могут начать свои проекты. Однако разрушение информационной связности может отбросить всю науку об ИИ назад.
5. Само изобретение даже не очень сильного ИИ позволит резко ускорить прогресс в других областях. Кроме того, любые принципиальные открытия могут изменить баланс сил.
Итак, некие события могут или сильно снизить уровень исследований в мире, в силу чего более дешёвые проекты получат преимущество перед дорогими, или резко ускорить их. Наоборот, разрушение информационной связности застопорит дешёвые проекты, опирающиеся на доступную информацию из Интернета, и не остановит дорогие проекты, реализующие готовую информацию, например, создание кобальтовой супербомбы. 
6.2. Закон Мура.
Законом Мура в узком смысле слова называется экспоненциальный рост числа транзисторов на чипе. В широком смысле слова под ним имеется в виду экспоненциальное усиление разных технологий с течением времени. Будущее закона Мура – будет ли он работать весь XXI век или перестанет в какой-то момент, является определяющим в том, какова будет история XXI века и его риски.
В действительности, это ускорение, которое описывает закон Мура, является не экспоненциальным, а более крутым. Вопрос этот неоднократно исследовался, например, в книге Рэя Курцвейля «Результаты закона ускорения» (‘The law of acceleration returns’). Подтверждением этого, является то, что, во-первых, скорость удвоения числа транзисторов на чипе постепенно, хотя и не равномерно, возрастает (то есть период удвоения сокращается). Если экстраполировать закон Мура в прошлое, то он бы имел начальную точку в середине ХХ века. Но компоненты электронных схем развивались и раньше. Предполагается, что в начале ХХ века закон Мура (если его экстраполировать на прогресс электронных схем тогда) имел период удвоения порядка трёх лет.
Во-вторых, не только возрастает число транзисторов на чипе, но и число компьютеров в мире экспоненциально растёт. В силу этого суммарная доступная вычислительная мощность растёт как экспонента от экспоненты.
В-третьих, растёт связность компьютеров друг с другом, превращая их в единый компьютер. В результате, если мы к началу 80-х имели порядка миллиона компьютеров с частотами порядка мегагерца, то теперь мы имеем миллиард компьютеров, с частотами порядка гигагерца, связанных между собой Интернетом. Это означает, что совокупная вычислительная мощь за 25 лет выросла не только в миллион раз количественно, но и неисчислимым образом качественно. 
Поскольку аналогичная закономерность прослеживается не только относительно чипов, но и жёстких дисков компьютеров, и считывания ДНК и ряда других технологий, понятно, что закон Мура связан не с какой-то особенностью производства микросхем, а с универсальной закономерностью в освоении новых технологий. 
Другой способ понять то, что собой представляет закон Мура, состоит в том, чтобы представить, что мы оказались в 19 веке с чертежом компьютера или пулемёта, и понять, чего именно нам не хватает, чтобы сделать это устройство. В первую очередь, нам будет не хватать материалов, деталей и точности обработки. (Во-вторых, необходима сама принципиальная идея того, что нужно сделать – сам чертёж.) Соответственно, прогресс состоит в росте номенклатуры и удешевлении материалов с заданными свойствами и технологий их обработки. Значит, в основе роста технического прогресса лежит возникновение новых идей, рост объёмов производства (удешевление) и, как ни странно, химия. И сейчас основные технологические открытия совершаются на границе биохимии, нанотехнологий, физики полупроводников и т п. 
В своё время наблюдался своеобразный закон Мура в области космонавтики – от первого спутника до высадки на Луну имел место экспоненциальный рост успехов, который давал основания для прогнозов о полётах к звёздам к началу 21 века. Однако вместо этого космонавтика вышла на насыщение и даже на откат по некоторым позициям, вроде полётов на Луну. Это произошло, потому что космонавтика развивалась, как культура микроорганизмов в чашки Петри – то есть экспоненциально росла, пока не упёрлась в свои естественный пределы. Естественными пределами космонавтики стали возможности химических ракет (и их цена). Хотя космонавтика развивалась, принцип реактивного движения и цена производства ракет не развивались. В области полупроводников и ряда других технологий происходило наоборот – каждый успех в их создании позволял быстрее и дешевле разрабатывать новее версии. 
В производстве кремниевых микросхем закон Мура также должен рано или поздно достичь некого физического предела. Однако, если взять закон Мура в более общем виде, то он означает закон самоусложнения структур. И мы неоднократно видели, как это самоусложнение совершало качественные скачки от одной области экспоненциального роста к другой, всякий раз в гораздо более быструю по параметрам развития – от одноклеточным к много клеточным, от неолита к рабовладельческому строю, от электронных ламп к транзисторам, от микросхем к – возможно – квантовым компьютерам. (Я не привожу здесь полную цепочку ускорения фаз развития, отмечу только, что каждый переход давал ускорение параметра роста в несколько раз.) Это значит, что такие события, как переход с одной экспоненты на другую, более крутую (а очевидно, не было конкурентной выгоды переходить на менее крутую экспоненту развития), являются более важными, чем даже сам экспоненциальный рост между этими переходами. И каждый раз такие переходы связаны с качественными скачками, с открытием принципиально нового способа оптимизация, нового способа более быстрого «думания» (иначе говоря, с открытиями более быстрых алгоритмов искусственного интеллекта, чем простой перебор). Например, переход к половому размножению был для эволюции открытием более быстрого способа отбора и создания эффективных видов. Переход к письменности – более мощным способом накопления знаний об окружающем мире, чем устная передача. Создание научного метода – более мощным способом познания окружающего мира, чем доверие письменным источникам античности. Создание системы венчурных фирм, разрабатывающих и продающих новые технологии – более быстрым способом, чем работа отдельных конструкторских бюро и изобретателей-одиночек. (См. например: И.Азаров.
Венчурный капитал в электронной промышленности США.
http://www.electronics.ru/issue/1998/1/17 ). 
Вероятно, следует остановиться на том, каким образом устроена разработка новых технологий в современном обществе, - что и позволяет поддерживать нынешний темп роста технологий. Она имеет следующие части:
1) непрерывная генерация и патентование любых идей.
2) создание отдельных лабораторий под каждую идею, у которой есть хотя бы мизерный шанс на успех (венчурные фирмы). 
3) непрерывный обмен информацией между всеми участниками процесса, как за счёт открытых публикаций, так и за счёт торговли патентами и лицензиями.
4) отлаженный механизм внедрения любых новинок. 
5) Покупка «мозгов» - людей с их навыками - под конкретные проекты.
Эта система, как и все предыдущие, сложилась стихийно – то есть путём простого отбора между разными системами оптимизации. (Может быть, с элементами синтеза в духе полового отбора.) Соответственно, можно предположить, что переход к следующей системе оптимизации будет связан с подвижками, так сказать, на уровне мета-оптимизации, то есть оптимизации процессов оптимизации.
Очевидной чертой современной системы является то, что она концентрируется не вокруг людей-изобретателей, как в 19 веке – Эдисона, Теслы, а на отработанном конвейере производства и коммерциализации идей, в котором личность отдельного человека не принципиальна. Из сказанного очевидна уязвимость современного «закона Мура» к экономическим потрясениям: для его работы необходим широкий фронт из множества фирм, поддерживаемый непрерывным притоком капитала.
Соответственно, в будущем обобщенный закон Мура, иначе говоря, закон ускорения эволюции, ждёт или крах, или переход на ещё более быструю ступень развития. Поскольку нельзя заставить людей менять сотовый телефон 10 раз в год, то, скорее всего, двигателем для следующего скачка будут нерыночные (но конкурентные) механизмы, например, гонка вооружений. 
Иначе говоря, закон Мура является продуктом современной экономики, и риски для экономики являются рисками для закона Мура, а значит, - являются глобальными рисками третьего рода. «Закон Мура» в широком смысле слова очень уязвим к целостности и связности общества. Для того, чтобы огромное количество технологий продолжало бы развиваться по экспоненциальной кривой, необходимо одновременное функционирования тысяч лабораторий, мощнейшая экономика и качественная информационная связность. Соответственно, даже мощный всемирный экономический кризис может подорвать его. Примером такого рода события может быть распад СССР, в котором наука обрушилась в разы – и обрушилась бы ещё больше, если бы не приток идей с запада, спрос на энергоносители, импорт компьютеров, интернет, поездки за рубеж и фонд Сороса. Страшно себе представить, насколько бы откатилась назад наука, если бы СССР был единственным государством на планете и распался. 
Понятно, что «закон Мура» мог бы поддерживаться внутри нескольких отдельных сверхдержав, обладающих полным комплектом ключевых технологий, но возможно, что некоторые ключевые технологии уже стали воистину уникальными в мире. И конечно, одно небольшое государство, даже европейское, не сможет поддерживать темп развития науки на нынешнем уровне, если останется в одиночестве. В силу этого мы должны осознавать уязвимость закона Мура на современном этапе. Однако создание ИИ, нано и био технологий резко уменьшит объём пространства, которое необходимо для «производства всего». Крах закона Мура не будет означать прекращения всех исследований. Разработка отдельных видов биологического оружия, ИИ, сверхбомб может продолжаться усилиями отдельных лабораторий. Однако без всемирного информационного обмена этот процесс значительно замедлится. Крах закона Мура отсрочит или сделает невозможным появление сложных высокотехнологичных изделий, таких, как нанороботы, освоение Луны и загрузка мозга в компьютер, однако доведение до ума относительно простых проектов продолжится.
7. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ.
7.1. Общее понятие о предотвратимости глобальных рисков.
Очевидно, что если мы выясним, что есть несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Наоборот, если окажется, что во всех предлагающихся мерах защиты есть изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Как мы сейчас представляем, система защиты - на каждой фазе развития глобального риска - должна осуществлять следующие функции:
• Наблюдение.
• Анализа информации и принятия решения.
• Уничтожения источника угрозы.
Эта стратегия хорошо отработаны в разведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой.
Глобальные риски различаются по степени того, насколько возможно их предотвратить. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только понимание их опасности. То есть максимально предотвратимый риск – это тот риск, который:
1) Легко предвидеть
2) Предвидение о котором легко достигает научного консенсуса.
3) Одного признания которого достаточно, чтобы отказаться от действий, ведущих к этому риску. 
Последнее связанно с тем, что:
А) Опасные процессы создаются только людьми.
Б) Они открыто создаются в небольшом числе широко известных мест.
В) Люди не ждут никакой выгоды от этих процессов.
Г) Опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития.
Д) Опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности.
Е) У нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.
Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:
1) Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI есть риск, было трудно.)
2) Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности доказательства DA).
3) Даже если будет достигнуто общественное согласие о том, что это действительно опасно, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)
Последнее связано с тем, что:
1) Источники риска доступны большому числу людей, и что это за люди - неизвестно (можно поставить на учёт все физиков ядерщиков, но не хакеров-самоучек).
2) Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).
3) Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.
4) Источник опасности сулит не только риски, но и выгоды, в частности, является оружием. 
5) Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться. 
6) Опасную ситуацию трудно опознать в качестве таковой, это требует много времени, и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-либо не заразит и пока эпидемия достаточно не распространится, чтобы понять, что это именно эпидемия.)
7) Опасный процесс развивается быстрее, чем мы можем на него адекватно реагировать.
Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск, в конечном счёте, будет предотвращён. Например, астероидная опасность относится к числу легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной – кометы идёт по более крутым орбитам, и часто появляются новые кометы) системы защиты у нас сейчас нет. И пока её нет, «предотвратимость» остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и когда. 
7.2. Активные Щиты.
В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Щит – это средство контроля и воздействие на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.
Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который проходит под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть Землю. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.
Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго, но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает, тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя нехорошо проявить, и ещё время, чтобы иммунная система выработала против него ответ. Тоже самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы речь шла о серой слизи, мы поняли бы, что это серая слизь только после того, как она значительно распространилась. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть. 
Иначе говоря, иммунная система хороша, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования Земли, а космические поселения столкнуться с рядом концептуальных трудностей (см. главу о них). Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые оказывают значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип распространение фактора опаснее разрушения). 
Соответственно, широко обсуждаются идеи БиоЩита и НаноЩита. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов.
1. Они мучительно отстают от источника угрозы по времени разработки.
2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.
3. Они уже сейчас вызывают серьёзные политические разногласия. Поскольку, если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности, как, например, национальные системы ПРО порождают соблазн ударить первыми – и страх этого у тех, у кого их нет.
4. Любой щит создаётся на основе ещё более продвинутые технологии, которые могут создавать угрозы своего уровня.
5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев. 
6. Щит не может быть абсолютно надёжен – то есть успех его срабатывание носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы вопрос его пробивания – это только вопрос времени.
7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.
Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он даст технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки по Земле. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку солнечной системы, я не буду чувствовать в большей безопасности. 
В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что этот же астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.
Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:
• Ракеты сбиваются с помощью ракет ПРО.
• По местам производства ядерного оружия наносятся ядерные удары.
• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.
• Биодатчики не дают распространиться биологическому оружию.
• Нанощит защищает от нанороботов. 
Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (Беллона), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то есть строительствам во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Порочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио. 
7.3. Действующие и будущие щиты:
Здесь я привожу краткий, но насколько возможно полный список щитов, которые могут появиться в будущем.
1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии. 
2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.
3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.
4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.
5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. С другой стороны, она не даст абсолютной защиты, так как её можно взломать, или потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.
6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)
7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке.
8) Нанощит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.
9) ИИ-щит. Защита от создания враждебного ИИ. Ничего неизвестно о такой работе. Есть рекомендации по безопасной разработке. 
7.4. Последовательность действия щитов разного уровня. 
Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции. 
Второй состоит в непосредственном контроле над людьми и опасными системами, с тем, чтобы ситуации глобального риска не вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д. 
Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов итд. Это уровень систем ПРО. 
Четвёртый – в эвакуации с Земли или закупоривании в бункеры.
7.5. Сохранение мирового баланса.
Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь - "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом, страна могла испытывать технологическое отставание на несколько лет и все же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной». («Машины созидания», глава 12.) 
То есть чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии. Сознательное нарушение баланса тоже опасно: попытка одной из стран явным образом уйти в отрыв по военным сверхтехнологиям может спровоцировать её врагов на агрессию по принципу «атака при угрозе потери преимущества». 
7.6. Система контроля.
Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.
Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и особенно анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока неясно.
Проблемы: 
- Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.
- Любую систему контроля можно обмануть – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.
- Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верхушка не сможет контролировать сама себя, то есть понадобится система обратной её подотчётности или народу, или «службе внутренней безопасности».
- Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в ХХ веке, и вызовет ожесточённое сопротивление вплоть до терроризма. Такая система тотально контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.
- Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК секвенсоры и опыты на мышах. И без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.
- Поскольку такая система уже «доставлена» в любую точку земного шара, она упрощает действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать. 
Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.
7.7. Сознательная остановка технологического прогресса.
Есть разные варианты попыток осуществления это остановки, все из которых или не работают, или содержат подводные камни: 
1. Личный отказ от разработки новых технологий – практически ни на что не влияет.
2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение людей, обречена на провал.
3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.
4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.
5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с мощной военной силой и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?»(ibid)
7.8. Средства превентивного удара.
Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.
Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере. Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверх оружия для удара по поверхности. 
Однако удар по точке не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. Тоже касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. 
Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть. 
Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.
Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. 
Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» - то есть склонную к неограниченному саморазмножению и распространению «токсинов» - опасных нанороботов, сверхбомб и прочего). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» - то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете.
7.9. Удаление источников рисков на значительное расстояние от Земли. 
Исследователь Голота предлагает все опасные физические эксперименты проводить «за орбитой Плутона». Проблемы такого подхода:
- Если мы получим в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять их результаты обратно. 
- Это не сможет остановить некоторых от аналогичных опытов на Земле, особенно если они просты. 
- Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.
- Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.
- Трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».
- Нет технических возможностей доставить огромное оборудование за орбиту Плутона в течение ближайших десятков лет. 
7.10. Выживание на природе, создание отдалённых поселений.
Это вряд ли поможет в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Удалённое поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда это проходит, скорее, под графой «бункеры».
Если речь идёт о выживании после просто очень большой катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, да и вообще любое феодальное общество – город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе «2033» главное монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение в природе в духе Маугли. Однако маловероятно, что так удастся пережить что-либо серьёзное.
7.11. Создание досье на глобальные риски и рост общественного понимания.
Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия.
Проблемы:
- не понятно, к кому именно адресованы любые такого рода тексты
- террористы, страны изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных, что приведёт к увеличению рисков в большей мере, чем к их предотвращению.
- неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками – как раз тогда, когда она на самом деле понадобится. 
7.12. Убежища и бункеры.
Отдельные автономные убежища могут существовать десятки лет, но чем оно автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем больший уровень технологий потребуется для надёжного выживания. (На Ноевом ковчеге это был запас «каждой твари по паре».) 
Очень большой бункер окажется способным продолжать внутри себя развитие технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация – в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не будет способен сам продолжать развитие технологий, то он, скорее, обречён на деградацию.
Далее, бункер может быть или «цивилизационным», то есть сохранять большинство культурных и технологических достижений цивилизации, или «видовым», то есть сохранять только человеческую жизнь. Перед длительными бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством, тогда это будет просто подземная цивилизация на заражённой планете.
Чем в большей мере бункер автономен культурно и технически, тем больше там должно жить людей (исходя из современных технологий – бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, - только с замороженными яйцеклетками). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере на всякий случай. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас проводится эксперимент Марс 500 , где 6 человек будут находится в полностью автономном – по воде, еде, воздуху - пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем.)
Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным, или позволять «экскурсии» во внешнюю враждебную среду. 
Примером морского бункера является атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов. 
Современная космическая станция МКС могла бы продержать несколько человек порядка года, хотя встают проблемы автономной посадки и адаптации. Не понятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.
Есть разница между газо- и био- убежищами, которые могут быть на поверхности, но разделены на много секций на предмет карантина, и убежищ, которые нацелены на укрытие от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху. 
Бункер может обладать разными уязвимостями: например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужна энергия и кислород. Это может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным – он должен предполагать защиты от определённых, известных заранее видов угроз – радиационной, биологической и т д. 
Чем укреплённее бункер, тем меньшее число бункеров оставит человечество от себя и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известным местам.
Чем крупнее бункер, тем меньше таких бункеров построит человечество. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некой заразы между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен. 
Возможны случайные бункеры – люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере. 
Бункеры буду страдать от необходимости обмена теплом, энергией, водой и воздухом с внешнем миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. .) Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения. Охлаждение внешней водой будет демаскировывать их, а иметь источники энергии без потерь в виде тепла невозможно, тем более, то на глубине и так всегда высокая температура. Рост температуры по мере заглубления под землю ограничивает предельную глубину залегания бункеров. (Геотермический градиент в среднем составляет 30градусов/ километр. Это означает, что бункеры на глубине больше 1 километра невозможны – или требуют гигантских охлаждающих установок на поверхности, как золотые шахты в ЮАР. Могут быть более глубокие бункеры во льдах Антарктиды.)
Чем эффективнее бункер, который может создать цивилизация, тем на более высоком технологическом уровне она находится и тем большими средствами уничтожения обладает – а значит, тем более мощный бункер её нужен. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, создав чисто компьютерный цивилизацию. 
Бункеры будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть – поэтому у них будет искушение осваивать ещё заражённые участки земли.
Возможны автоматические робототизированные бункеры: в них человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет запускаются. Их можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой – скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя человек, воспитанный роботами?
Культурные примеры: Ноев ковчег, Зион в «Матрице», крепость во время чумы у Э.По в «Маске Красной смерти», бункер в «Терминаторе». FallOut (серия компьютерных игр), роман "Метро 2033" (http://www.m-e-t-r-o.ru/)
Выводы: идея о выживании в бункерах содержит много подводных камней, которые снижают ей полезность и вероятность успеха. Длительные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменится и неизвестно к чему готовится. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Но чем мощнее бункер, тем вероятнее, что в нём разместят оружие возмездия, и тем вероятнее, что он станет целью в ходе войны.
Прямо сейчас у нас, вероятно, есть бункеры, в которых люди могут автономно просидеть год (а может быть и несколько лет в ядерных в военных объектах). Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов.
Особняком стоят информационные бункеры, которые предназначены, чтобы донести до возможных уцелевших потомком наши знания, технология и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями. Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок. 
7.13. Опережающее расселение в космосе.
Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Тогда ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества по космосу. Поскольку интеллектуальные компьютерные вирусы могут передаваться со скоростью света по сетям связи, то человечество должно было бы расселяться быстрее, чем скорость света, что невозможно. 
7.14. Всё как-нибудь обойдётся.
Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Более продвинутой формой этой позиции является идея о решении проблем по мере их поступления. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: Анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования. 
Однако в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку мы не знаем, где искать, и поскольку риски могут стать актуальными быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций. 
Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Это похоже на концепцию Goldilock Economy – то есть экономике в духе Маши из сказки «Маша и медведи», которая сумела полежать на всех кроватях медведей, но уйти не пойманной. Вероятность такого расклада невелика.
7.15. Деградация в устойчивое состояние. 
Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение. 
7.16. Предотвращение одной катастрофы с помощью другой.
Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:
1.Ядерная война останавливает развитие технологий вообще.
2.Тотальный ИИ предотвращает биотерроризм.
3.Биотерроризм делает невозможным развитие ИИ
4.Ядерная зима предотвращает глобальное потепление. 
Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.
Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ. 
Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска. 
7.17. Организации, ответственные за предотвращение катастрофы.
Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте Ника Бострома, есть гранты фонда Lifeboat foundatation, есть исследования Э.Юдковского. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.)
Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.
1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.
2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.
3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще. 
4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап –это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» - явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.
5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется по-английски Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы – власть общества не велика. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению –. Это Lifeboat Foundation, Центр по ответственным Нанотехнологиям, Альянс по спасению цивилизации, SIAI. Эти организации обмениваются ссылками, ресурсами и сотрудниками. С другой стороны, практические влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранной разведкой. Наилучшим примером воздействия общества на правителей является чтение правителями книг. Президент Кеннеди избежал войны в ходе Карибского кризиса, в значительной мере потому что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К.Сагана и Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал. 
6) Не мешать системе самой по себе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный. 
Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы общество целиком делегировало ей такие полномочия, что кажется гораздо менее вероятным. 
Позитивным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась общей и понятной. 
7.18. Проблема моделирования сценариев глобальной катастрофы.
К настоящему моменту наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к представлению, и необходимо сказанное проинтегрировать. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в том, чтобы дать конкретный прогноз, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. При этом вспомним слова Бора (?), сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии выглядят фантастическими, не делает их невозможными.
Рассмотрим эти сценарии также не как попытки предсказать будущее, а как пробные шары, с помощью которых мы исследуем саму свою способность создавать и оценивать сценарии. Отметим, что данное перечисление не есть попытка составить полный список, который был бы многократно длинее.

1. Мировой финансовый кризис, распад мира на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.
2. Создание универсальной биологической машины и её широкое распространение. Это как личный биопринтер плюс набор программ для него по созданию любых живых существ. В результате - резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Ядерная война как попытка стерилизовать окрестности. Опять же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы. 
3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». ХХI- XXII век.
4. Внезапное возникновение мощного самоусиливающегося ИИ – что перебивает любой из предыдущих сценариев. Время действия 2007-2040. Этот ИИ приходит к выводу об изначальной ущербности живой клетки и заменяет их на нанороботов. Каждый человек подключён к источнику неограниченного блаженства и больше не приходит в сознание. 
5. Начинается мировая война или противостояние, и враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика. Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку, мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточённую схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, всячески о них заботясь. 2010-2050 гг.
6. На Земле побеждает ИИ и благодаря своему уму распространяет информацию о себе во все стороны по Вселенной. Он открывает межзвёздные перелёты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Этот более зрелый ИИ истребляет наш ИИ и человечество. 2020-2100 гг.
7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра», однако некоторые страны не согласны, и их приходится уничтожить. В результате последовавшей ядерной и биологической войны население Земли значительно сократилось, биосфера серьёзна повреждена, но «Старшая сестра» создана. Поскольку ей всё время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счёте, она становится полноценным самосовершенствующимся ИИ. 
8. Аль-Каеда провоцирует крах западной цивилизации и устанавливает всемирный халифат. Уцелевшие учёные создают сверхбомбы и подрывают весь мир, чтобы он «не достался террористам».
9. Удаётся наладить дешёвое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и бункеры разных стран уничтожают друг друга ядерными ударами. 
10. Компьютерный вирус поражает всю уцелевшую в мире технику и заставляет её атаковать людей. Из страха оставшиеся люди уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и ещё несколькими медленными болезнями, а вся среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землёй. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.
11. Падение небольшого астероида вызовет случайную ядерную войну, которая станет войной всех против всех. Уцелевшие люди вымрут, когда вслед за тем прилетит больший астероид и спровоцирует извержение супервулкана. 
12. Некая страна разрабатывает опасные нанотехнологии, и на неё совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем наконец опасные нанотехнологии появляются. 
13. Несколько всеядных бактерий вырываются в окружающую среду и делают её непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно деградируют там. 
14. Тоталитарное мировое правительство вводит всем людям вирус счастья, чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускаю боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления этой наноиммунной системой и запускает в ней автоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены стать дебилами в ближайшие годы из-за ошибки в вирусе свободы.
15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Эти сверхлюди борются с обычными людьми и вообще их за людей не считают. В результате обычные люди полностью истребляются, и остаётся несколько сверхлюдей, которые по разным причинам вымирают.
16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли, и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.
17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа учёных делает открытие о квантовой природе сознания и создаёт универсальный доступ к любым сознаниям. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена. 
18. Некая страна создаёт оружие судного дня, и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение. 
19. Группа стран одной расы производит этническое оружие, которое уничтожает людей с другим цветом кожи. Но несколько друзей встают на защиту цветных и производят аналогичное оружие для белых. Поскольку планета оказывается полностью заражена, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создаётся несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает всё живое. Уцелевшие люди вступают в некую секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно. 
20. Некая страна придумала добывать энергию из магмы и просверлила глубокий канал подземлю. В результате образовался неконтролируемый вулкан и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создаёт ещё более глубокий канал подземлю. Происходит катастрофическая дегазации земного ядра и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена. 
При рассмотрении каждого предложенного сценария видно, что он в чём-то излишне фантастичен и похож на сюжет для романа, а в чём-то неполон – просто потому что есть много вещей и возможностей, о которых он не говорит. На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. В начале такие сценарии могут развиваться независимо, но затем, когда они выйдут на простор, то непременно пересекутся друг с другом. 
Следующий дефект этих сценариев – что они написаны от имени кого-то, кто уже знает начало и конец, и точно понимает, что происходит. Тогда как в начале любой последовательности событий мы не знаем, чем она закончится, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после вымирания – некому будет это утверждать. 
Далее, не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятны только потом или в момент своего проявления. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолёту». Поэтому мы можем находиться внутри какого-то сценария, понятия об этом не имея. Соответственно, и одна террористическая группа не знает, что задумала другая.
С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором сценария возможной будущей глобальной катастрофы будет состояние «замешательства» - которое будет проявляться в интеллектуальном разброде о причинах процесса и способах его преодоления и приведёт к конфликтам между сторонниками разных способов. А любой такой конфликт равноценен перестрелке в пороховом погребе. 
Способности одного человека придумать сценарий возможной глобальной катастрофы принципиально ограничены объёмом мозга и привычными сюжетными конструкциями. Эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы по мотивам аварии в Нью-Йорке. И получили результат, похожий на то, что потом случилось на самом деле в Москве в 2005 году. В США Юдковски отыгрывал различные модели поведения Недружественного ИИ на модели ролевых игр GURPS. Наконец, в будущем нам помогут в этом моделировании системы ИИ. 
7.19. Глобальные катастрофы и проблема веры.
Глобальная катастрофа относится к категории невидимых и непроверяемых вещей и потому попадает в ту область, которая обычно определяется верой. Здесь она сталкивается с другими объектами веры. А у каждой религии своя эсхатология. Тем не менее, людям свойственно прибегать даже к «антинаучным» методам борьбы, когда речь идёт о спасении жизни. Можно вспомнить, что при Сталине Москву трижды облетел самолёт с иконой Казанской Божей Матери, чтобы защитить её от наступления немцев, о множестве ритуалов при запуске ракет на Байконуре и т. д. 
Вера в неизбежность и позитивность конца света была раньше свойственна христианству, хотя сейчас вряд ли эту идею принимают буквально. Вера в приход Спасителя, следующего воплощения Будды, Мессии и т. д. также есть в разных религиях. Любые идеи о том, что мы уже обладаем бессмертием, радикально меняют смысл и ценность представлений о глобальной катастрофе. Люди в эпоху средневековья жили с ожиданием Конца света, и он был для них освобождением. Когда есть бессмертие, то катастрофа перестаёт быть всеобщей – она касается только некой части мира, и потому может даже приветствоваться. 
Особняком по отношении к проблеме глобальных рисков стоят несколько дисциплин, которые стараются придать себе статус научности, однако в целом отвергаются научным сообществом. Принцип предосторожности заставляет нас принять их во внимание. Поскольку, как мы уже говорили, любое новое открытие меняет картину глобальных рисков, и, скорее всего, в сторону усугубления.
1. Уфология. Основной вопрос уфологии состоит в том, стоит ли за хоть какими-нибудь наблюдаемыми на небе непонятными явлениями что-то, что требует некого принципиально нового научного объяснения. Или же все такие явления связаны с ошибочным восприятием, галлюцинациями, мистификациями и случайными совпадениями, а также редкими, но не требующими изменения картины мира физическими явлениями, такими, как спрайты и прочие формы сложных электрических разрядов. Принципиально новое в уфологии не обязательно означало бы, что НЛО – это космические корабли пришельцев. Есть много других предположений: что это плазменные формы жизни, путешественники во времени или из параллельных миров, жители подводной цивилизации и т. д. (См. короткую статью Жака Вале «Пять аргументов против внеземного происхождения НЛО».) Из того, что многие небесные явления удаётся объяснить естественными причинами, не следует, что нам когда-нибудь удастся объяснить все такие события. 
В любом случае, если будет открыто, что за НЛО стоит нечто принципиально новое, это ухудшит наши шансы на выживание. Во-первых, если за НЛО не стоит разума, а просто набор неких новых физических эффектов, это даст нам некое новое пространство, по которому можно перемещаться, размножаться в нём и воздействовать из него на Землю. Соответственно, это даст новые способы создания оружия судного дня. 
Во-вторых, даже если НЛО – это корабли пришельцев, то трудно ожидать от них, что они начнут спасать земную цивилизацию – ведь раньше они не предотвращали мировые войны. Однако столкновение с превосходящим разумом всегда гибельно для более слабого – и чревато вымиранием или культурным растворением. Вспомним австралийских аборигенов или индейцев. 
2. Парапсихология. Парапсихология также борется за то, что бы наукой и доказать, что предмет её исследования существует. В целом, то, что она предсказывает, гораздо менее фантастично, чем свойства квантовой сопряжённости, которыми обладают элементарные частицы. Поэтому наилучшие попытки научного обоснования парапсихологических явлений, таких как телепатия и предвидение, основаны на теориях о квантовой природе сознания. 
Представим себе, что парапсихология достигла своих целей и нашла способ легко демонстрировать и применять на практике такие способности, как телепатия и предвидения (Один из наиболее интересных проектов на эту тему - Remote viewing Инго Свана - развивался в 80-е годы в США при ЦРУ, потом был выведен за штат и широко опубликован в Сети. Возможно, отказ от него был связан с тем, что были найдены более эффективные техники удалённого восприятия – а может, с тем, что они были признаны бесполезными.) Здесь возможны два варианта. Первый состоит в том, что некие простые парапсихологические явления получили научное подтверждение и стали широко применяться на практике. Второй вариант состоит в том, что сделанные открытия будут настолько масштабны, что полностью изменят нашу картину мира.
На первый взгляд, способность читать мысли всех людей и предчувствовать будущие катастрофы была бы крайне полезна в борьбе с террористами и прочими рисками. Однако здесь мы опять видим средство мгновенного воздействия на всех людей, и также среду для саморазмножающихся объектов – то есть базовые инструменты для создания нового оружия судного дня. Следовательно, открытие телепатии не сделает наш мир безопаснее, так как создаст новое пространство для борьбы «щита и меча» с непредсказуемыми последствиями. Предвидение также может создать ситуацию стратегической нестабильности, по типу самосбывающихся пророчеств. Пример такой нестабильности показан в фильме «Особое мнение», где способность предсказывать намерения другого государства приводит к войне. Особенно, если оно тоже бы обладало предсказателями – тогда бы возникала положительная обратная связь. С предсказаниями возникает также проблема петель обратных связей в духе «вернуться в прошлое и убить своего дедушку», смысл которых в том, что или предсказание неизбежно, или это не предсказание. 
Более глубокими следствиями открытий в области парапсихологии было бы радикально изменение картины мира. Такое изменение состояло бы в том, что роль субъекта в мироздании значительно повышалась бы, а роль объективного мира снижалась. Нет нужды говорить, что такого рода открытия тесно смыкались бы с предсказаниями различных религиозных учений. Возможно, что в этом случае проблема гибели человечества сильно трансформировалась бы, так как изменилось бы само содержание терминов «гибель» и «человечество». Однако даже если бы мы «открыли Господа Бога», это не обещало бы нам «спасения человечества» в его нынешнем виде, поскольку, как уже говорилось, во многих религиях предусмотрен – и приветствуется – апокалипсис. 
Одним из популярных способов борьбы за спасение мира являются коллективные групповые медитации, которые организуются в определённое время по всему земному шару. Никакой очевидной пользы или вреда от этого зафиксировано не было. 
Интересной формой изменения картины мира мог бы быть последовательный солипсизм, то есть представление о том, что только я-сейчас реально существую, а мир – это некая форма отражения моего сознания. Многие учения в стиле New Age неявно разделяют эту картину миру, утверждая, что «все ваши желания сбываются», «вселенная слышит вас». Тогда способом сохранения мира было бы пребывание в позитивном устойчивом состоянии, которое бы отражалось во вне. Однако, поскольку у каждого бывают приступы ненависти к себе и другим, то, если бы эта система работала в точности, мир бы, даже и субъективный, погиб бы ещё раньше. Если же предположить, что есть некий разумный фильтр моих желаний, то мы возвращаемся к картине мира с Богом, где окончательное решение о разрушении и создании мира остается за ним, но поскольку Бог находится за пределами мира, то это не является ни окончательной катастрофой, ни глобальной. Однако, возможно, что ситуация гораздо сложнее, чем позволяет себе представить человеческая теология, и таким образом разрешаются все противоречия. 
3. Альтернативные физические теории. Всегда есть огромное количество ниспровергателей Эйнштейна, однако даже в рамках вполне общепринятой физики, развиваемой профессиональными теоретиками, достаточно теорий, который могут существенно изменить наш взгляд на мир в вопросе глобальных катастроф. 
Во-первых, это разные теории, которые предсказывают новые пространства, в которых могут развиваться риски, новые физические эффекты, обещающие новые виды оружия, а также описывающие разные альтернативные сценарии природных катастроф. Однако это можно отнести к главе «Открытия».
Затем есть ряд теорий, которые предполагают полную смену картины мира. Среди них следует выделить концепцию Мультверса Эверетта , а также ряд других теорий (например, космологическую хаотическую инфляцию), которые предполагают бесконечность числа существующих миров. Так или иначе, эти теории, независимо одна от другой, означают, что существуют все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. См. подробнее статью Дж. Хигго «Означает ли бессмертие многомирная интерпретация квантовой механики».
Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества. 
Далее, следует уделять внимание другим теориям, полностью меняющим картину мира – например, идеям о голографической вселенной. Часто разные альтернативщики стараются привлечь к себе внимание, показывая, как открытые ими новые эффекты могу привести к разным катастрофам. И хотя большинство людей правильно распознают такие заявления как саморекламу, возможно, надо уделять им чуть больше внимания, так как в одном случае на тысячу за ними может быть своя правда. 
Важной темой является то, что по мере приближения к моменту Сингулярности все факторы, которые имеют хоть какое-то значение для человечества, должны сыграть свою роль. 
Ещё одним из таких факторов, ждущих своего научного объяснения, является философская проблема о «квалиях» (qualia) - то есть о качественной природе отдельных переживаний, таких зелёный и красный, и связанным с этих логических парадоксах. Проблема квалиа воскрешает в новой форме проблему психофизического дуализма, поскольку означают, что существует нечто, с одной стороны, доступное для субъективное восприятие, а с другой, отсутствующее в физическом мире – и возникает вопрос, как эти два уровня реальности взаимодействуют. 
4. Предположения о том, что мы живём в «Матрице». Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Вероятность такой ситуации будет обсуждаться нами в главе «Всё не может быть так плохо». Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).
Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о квантовом бессмертии. А именно, если мы живём в Матрице, то это вероятно только в том случае, если их множество очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, так же, как сожжение одного из экземпляров романа «Война и мир» не влияет на отношение персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что «самосознание» в симуляции вообще невозможно.)
Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, просто чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом, можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще буду встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где «главные герои не умирают», то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы. 
Концепция «квалиа» наносит серьёзный удар по теории о симуляциях, потому что смоделировать квалиа смысле вычислимости на компьютере нельзя. (Но, возможно, можно создать условия для их появления при моделировании процессов на квантовом компьютере.)
Квалиа сами по себе обладают определённым «бессмертием», поскольку их никак нельзя изменить – зелёный цвет или есть, или его нет. Однако «бессмертие» квалиа – это вовсе не сохранение того мира, к которому мы привыкли. Это скорее похоже на бессмертие атомов, из которых состоит человеческое тело – человек как сумма атомов умер, а ни один атом не пострадал. Также и гибель Земли может никак не повлиять на то, что где-то когда-то будут живые существа с такими же квалиа. 
В настоящий момент самое главное в проблеме квалиа то, что их существование говорит нам о неполноте картины мира, который у нас есть, точно так же, как проблема излучения чёрного тела явно говорила о неполноте картины мира классической физики.
7.20. Глобальные катастрофы и устройство общества.
Если катастрофа уже случилась, то она может уничтожить любое общество, поэтому устройство общество важно на той фазе, когда речь идёт о предотвращении глобальных катастроф. Какое общество лучше всего способно предотвращать глобальные катастрофы:
1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. При этом оно должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения, сразу бы обнаруживалось любое опасное поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)
2. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь «высокий моральный уровень».
3. Это общество, которое нацелено на выживание в длительной исторической перспективе.
4. Это общество, руководимое людьми, достаточно мудрыми, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают целостное образование, дающее фундаментальное и широкое, но не поверхностное видение мира.
5. Это общество, в котором максимально уменьшено число конфликтов, участники которых могут захотеть использовать оружие судного дня.
6. Это общество, могущее осуществлять достаточно жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам, неким образом, превращаться в инструмент создания риска.
7. Это общество должно быть готово быстро и эффективно принять достаточные меры против любого глобального риска.
8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически, это общество должно рассматривать своё выживание как главную задачу на некий период времени.
9. Это общество должно осознано создавать новые технологии в правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.
10. Это общество должно возникнуть без мировой войны, так как риск в процессе её перевесит пользу от такого общества. 
При этом я не обсуждаю это общество в терминах «демократическое» рыночное», «коммунистическое», «тоталитарное» и др. – я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Очевидно, что современное общество крайне далеко от всех этих параметров способного к выживанию общества.
1. На Земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения.
2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть процент тех, кто не против или даже стремится к тотальному разрушению. Также внутри общества распространяются конкурирующие мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. (Под цинизмом я имею в виду довольно распространенную сумму убеждений: всё – говно, деньги правят миром, всё делаю для себя, чудес не бывает, будущее не имеет значения, «пипл хавает».) 
3. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.
4. Исходя из действий руководителей стран, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. Более того, это происходит потому, что нет ясной и общепринятой картины рисков, а точнее – та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски – однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут дать и хотят составить ясное понимание о рисках, уровень информационного шума таков, что услышать их невозможно.
5. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.
6. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют – или, во всяком случае, такое впечатление создаётся (война в Ираке).
7. Пока общество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно (согласования) или чревато развязыванием ядерной войны.
8. После эпохи холодной войны строительство бункеров относительно заглохло. 
9. Современное общество не осознаёт выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.
10. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, какие и зачем технологии развивает – даже относительно легко обнаружимых ядерных производств.
11. Хотя процесс договорного объединения идёт в Европе, остальная часть мира пока не готова мирно объединиться. (Однако, если где-то случится крупная, но не окончательная катастрофы, то возможно объединение в духе «антитеррористической коалиции».)
Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества – это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина с оценкой вероятности начала войны. Или слепота древнего Китая в отношении военных перспектив пороха и информационных технологий – компаса и бумаги, которые там были изобретены. 
7.21. Глобальные катастрофы и текущая ситуация в мире.
С одной стороны может показаться, что всё вращение политической жизни в современном мире происходит относительно предотвращения отдалённых глобальных катастроф, каковыми полагаются в первую очередь две: глобальное потепление и ядерная программа Ирана. Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что, хотя заявленные проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежища. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.
Собственно, можно обсудить две темы: почему выбран именно этот список катастроф, и как общество обращается с тем список рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе «а будет ли мальчик?» Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез. 
7.22. Мир после глобальной катастрофы.
Как бы ни была масштабна глобальная катастрофа, вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.
В соответствии с положениями синергетики, критическая точка означает, что есть несколько, конечное число, сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:
1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили.
2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.
3. Серая слизь. Уцелела некая примитивная «некросфера» (термин С.Лема из «Непобедимого») из нанороботов. В ней может быть своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.
4. Постапокалиптичесий мир. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию. 
5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия – каждый получит неограниченную жизнь и вирутальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации от человека государства и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.
6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу развлечений. Разница эта - как между сном о любви и настоящей любовью.
Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.
7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф.
Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир во время чумы». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность. 
Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно перед ним поставить задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему. 
И хотя я не думаю, что именно этот план и легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:
1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.
2) При этом эти знания и возможности управления не будут порождать новых рисков. 
3) Эта система возникает мирно и безболезненно для всех людей. 

8. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
Непрямые способы оценки используют не данные о самом предмете исследования, а разные косвенные источники информации, вроде аналогий, общих закономерностей и верхних пределов. Это вопрос подробно рассматривается Бостромом в статье «Угрозы существованию». Есть несколько независимых способов такой оценки.
8.1. Закон Парето.
Закон Парето подробно рассмотрен Г.Малинецким применительно к разнообразным катастрофам в книге «Риск. Устойчивое развитие. Синергетика». Суть его состоит в том, что частота (точнее, ранг в списке) некой катастрофы связана с её масштабом очень простым законом:

Где а - параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер, и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональном а. Типичным примером закона Парето является высказывание вроде: «С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже». (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга–Рихтера, см. Малинецкий. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой7-7,9 баллов происходят 18 раз в год, то 8 балльные – раз в год, а 9 бальные – раз 20 лет.) Особенностью этого закона является его универсальность для разных классов явлений, хотя значение параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показатели степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения. 
Нас в этом распределении интересует, как часто во времени могли бы случаться катастрофы, в которых ожидаемое число жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число имеет порядок времени существования самого вида homo sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба – 74000 лет – когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а.
Однако стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.
Однако гораздо худший результат мы получим, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, например, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно. 
Подробно закон степенного распределения катастроф и угрозы вымиранию человечеству рассматривается в статье Робина Хэнсена «Катастрофа, социальный коллапс и человеческое вымирание». Он отмечает, что важным фактором является разброс живучести отдельных людей. Если этот разброс велик, то чтобы уничтожить всех людей до последнего, нужна гораздо, на несколько порядков, более сильная катастрофа, чем та, которая уничтожает только 99%. 
8.2. Гипотеза о «Чёрной королеве».
Ван Валенном было обнаружено, на основании палеонтологических данных, что линии вымирания родов животных подчиняется экспоненциальному закону. «Такая форма линий выживания фактически означает, что вероятность вымирания среднестатистического рода остается примерно постоянной в течение его жизни». ( А.В. МАРКОВ.
ВОЗВРАЩЕНИЕ ЧЕРНОЙ КОРОЛЕВЫ, ИЛИ ЗАКОН РОСТА СРЕДНЕЙ ПРОДОЛЖИТЕЛЬНОСТИ СУЩЕСТВОВАНИЯ РОДОВ В ПРОЦЕССЕ ЭВОЛЮЦИИ. Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm). Поскольку время жизни отдельных видов внутри рода Homo составляет порядка миллиона лет, то мы можем ожидать такую же продолжительность жизни и для людей, в той мере, в какой мы являемся обычным биологическим видом. Следовательно, гипотеза о Чёрной королевы не означает существенного риска в XXI веке.
С другой стороны, в настоящий момент мы живём в период 6-ого большого вымирания живых организмов, на этот раз вызванного антропогенными факторами, который характеризуются скоростью вымирания, в 1000 раз превосходящую естественную. Если согласиться с тем, что человек – тоже один из видов, то это уменьшает ожидаемое время его существования с миллиона лет до тысячи. 
8.3. Парадокс Ферми.
Ещё один не прямой способ оценке вероятности основан на парадоксе Ферми. Парадокс Ферми состоит в следующем вопросе: «Если жизнь и разум обычные явления в природе, то почему мы их не видим их проявлений в космосе»? Теоретически, жизнь и разум могли бы зародиться где-то на несколько миллиардов лет раньше, чем на Земле. За это время они могли бы распространиться на сотни миллионы световых лет, хотя бы с помощью самореплицирующихся космических зондов (называемых зонды фон Неймана). Этот объём включает в себя тысячи, а может и миллионы, галактик. Запустить волну самореплицирующихся межзвёздных зондов можно было уже в ближайшие 100 лет. Это могут быть микророботы, которые оседают на планеты, делают там ракеты и рассылают их по Вселенной со скоростями, значительно ниже световых – такие устройства даже не обязаны обладать полноценным универсальным искусственным интеллектом – тоже самое делают какие-нибудь актинии в земном океане, только в меньшем масштабе. Такой процесс может быть запущен случайно, просто при освоение ближайших планет с помощью самореплицирующихся роботов. Такие микророботы будут в первую очередь потреблять твёрдую материю планет для своего размножения. Для них будут действовать законы эволюции и естественного отбора, аналогичные тем, что имеются в животном мире. 
Однако мы не наблюдаем таких микророботов в Солнечной системе, хотя бы потому, что она уцелела. Более того, уцелела не только Земля, но и другие твёрдые тела – спутники дальних планет Солнечной системы. Мы также не наблюдаем никаких инопланетных радиосигналов и никаких следов астроинженерной деятельности. 
Отсюда возможны четыре (хотя предлагают и больше – см. книгу Стефана Уэбба «50 решений парадокса Ферми» ), где рассматривается 50 разных вариантов, которые, в целом, сводятся к нескольким более общим категориям)) вывода:
1. Разумная жизнь возникает во Вселенной крайне редко, реже, чем в объёме куба с ребром в 100 миллионов световых лет в течение 5 миллиардов лет, или даже больше. (Или данная оценка неверна, и на самом деле разумная жизнь возможна была только сейчас, а не раньше, и Земля – первая. Но в этом случае у нас много конкурентов. Есть ряд соображений, которые усиливают идею о том, что планеты с разумом крайне редки – см. главу о рисках SETI.)
2. Мы уже окружены невидимой нам разумной жизнью, которая так или иначе позволила нам развиться или смоделировала условия нашей жизни. (Сюда же входит возможность того, что мы живём в полностью смоделированном мире.)
3. Разумная жизнь погибает до того, как успевает запустить хотя бы примитивную «ударную волну разума» из роботов- репликаторов, то есть погибает в своём аналоге XXI века. 
4. Разумная жизнь жёстко отказывается от распространения за пределы родной планеты. Это может быть вполне разумно с её стороны, так как отдалённые космические поселения невозможно контролировать, а значит, из них может придти угроза существованию. (Возможно, что разуму достаточно пределов виртуального мира, или он находит выход в параллельный мир. Однако опыт жизни на Земле показывает, что выход на сушу не прекратил экспансии в море – жизнь распространяется во всех направлениях.)
Поскольку эти четыре гипотезы, по байесовой логике, имеют равные права до получения дополнительной информации, мы можем приписать каждой из них субъективную достоверность в 1/4. Иначе говоря, парадокс Ферми с достоверностью в 25 процентов предполагает, что мы вымрем в XXI веке. И хотя субъективные вероятности – это ещё не объективные вероятности, которые бы мы имели, обладай полнотой информации, наше космической одиночество – это тревожный факт. (С другой стороны, если мы окажемся не одиноки, это тоже будет тревожный факт, в свете рисков, которые создаст столкновение с чужеродной цивилизацией. Однако это покажет нам, что, по крайней мере, некоторые цивилизации способны выжить.)
8.4. «Doomsday argument». Формула Готта.
Другим способом непрямой оценки вероятности гибели человечества является специфическое и довольно спорное приложение теории вероятности, называемое Doomsday argument (DA), или Рассуждение о Конце света. В начале 1980-х годов DA был независимо и в разных формах открыт несколькими исследователями. Основные статьи по этому вопросу были опубликованы в ведущем естественнонаучном журнале Nature в разделе гипотез. DA опирается на так называемый постулат Коперника, который говорит, что обычный наблюдатель находится, скорее всего, в обычных условиях – то есть на обычной планете, у обычной звезды, в обычной Галактике. Он работает в отношении самых простых вещей: он говорит, что вряд ли вы родились в полночь 1 января, или что вы вряд ли живёте на Северном полюсе. Хотя принцип Коперника кажется самоочевидным и почти тавтологичным, он может быть выражен в математической форме. А именно, он позволяет дать вероятностную оценку о том, сколько времени будет продолжаться некий процесс, исходя из того, сколько времени он уже продолжается. Есть две основные формы этого математического предсказания – прямая, в которой вычисляется непосредственная вероятность, называемая формулой Готта, и косвенная, выдвинутая Картером и Дж. Лесли, в которой вычисляются байесовы поправки к априорной вероятности. Оба этих подхода сразу попытались применить к вычислению ожидаемой продолжительности жизни человечества. Объём дискуссий по этому вопросу составляет несколько десятков статей, и многие кажущиеся очевидными опровержения не работают. Я рекомендую читателю обратится к переведённым мною статьям Н.Бострома, где разбирается часть аргументов, а также к книге Дж.Лесли и статье Кейва. Основная дискуссия строится вокруг того, можно ли вообще использовать данные о прошлом времени существования объекта для предсказания его будущего времени существования, и если да, то можно ли использовать эти данные, чтобы предсказать будущее число людей и время до «конца света». При этом в обоих случаях оказывается, что получающиеся оценки будущего времени существования человечества неприятны. 
Рассмотрим сначала формулу Готта. Суть лежащих в основе её рассуждений состоит в том, что если мы наблюдаем некое длящееся событие в случайный момент времени, то, скорее всего, мы попадём в середину периода его существования, и вряд ли попадём в области очень близкие к началу или к концу. Вывод формулы Готта можно посмотреть в статье Кейва. Приведём саму формулу. 
(2)

Где T – возраст системы в момент её наблюдения, t – ожидаемое время её существования, а f – заданный уровень достоверности. Например, если f=0.5, то с вероятность в 50% система прекратит существовать в период от 1/3 до 3 её нынешних возрастов с настоящего момента. При f=0.95 система просуществует с вероятностью 95% от 0,0256 до 39 нынешних возрастов. 
Формула Готта находит выражение в человеческой интуиции, когда, например, мы полагаем, что если некий дом простоял год, то очень вряд ли он обрушится в ближайшие несколько секунд. Этот пример показывает, что мы можем делать вероятностные высказывания об уникальных событиях, не зная ничего о реальном распределении вероятностей. Большинство попыток опровержения формулы Готта основано на том, что приводится контрпример, в котором она якобы не работает – однако в этих случаях нарушается принцип того, что предмет наблюдается в случайный момент времени. Например, если взять младенцев или очень старых собак, то формула Готта не будет предсказывать ожидаемую продолжительность их жизни, однако молодые люди или старые собаки не есть люди или собаки, взятые в случайный момент времени.
В отношении будущего человеческой цивилизации формула Готта применяется не к времени, а к рангу рождения, поскольку население менялось неравномерно, и более вероятно оказаться в период с высокой плотностью населения. Предполагается, что мы, родившись, произвели акт наблюдения нашей цивилизации в случайный момент времени. При этом мы узнали, что всего за историю человечества было только примерно 100 миллиардов людей. Это значит, что мы, скорее всего, попали в середину отрезку, и значит, что очень вряд ли (с менее 0,1% вероятности) суммарное число людей будет 100 триллионов. А это значит, что шанс того, что человечество распространится по всей галактике в течение многих тысячелетий, также мал. 
Однако из этого также следует, что вряд ли что мы живём в последнем миллиарде родившихся людей, а значит, у нас есть, скорее всего, ещё несколько сотен лет до конца света, учитывая ожидаемое население Земли в 10 млрд. человек. Для XXI века вероятность гибели цивилизации, исходя из формулы Готта, составляет 15-30 процентов, в зависимости от числа людей, которые будут в это время жить. Как ни странно, эта оценка совпадет с предыдущей, на основе парадокса Ферми.
8.5. Рассуждение о конце света Картера-Лесли.
Лесли рассуждает несколько другим образом, применяя Байесову логику. Байесовая логика основывается на формуле Байеса, которая связывает апостериорную вероятность некой гипотезы с априорной её вероятностью и вероятностью новой порции информации, то есть свидетельства, которую мы получили в поддержку этой гипотезы. (Я рекомендую в этом месте обратиться к переведённым мною статьям о Doomsday Argument, поскольку не могу изложить здесь всю проблематику в деталях.) 
Лесли пишет: допустим, есть две гипотезы о том, сколько будет всего людей от неандертальцев до «конца света»: 
1-ая гипотеза: всего будет 200 млрд. людей. (То есть конец света наступит в ближайшее тысячелетие, так как всего на Земле уже жило 100 млрд. людей.)
2-ая гипотеза: всего будет 200 трлн. людей (то есть люди заселят Галактику).
И допустим, что вероятность каждого из исходов равна 50% с точки зрения некого абстрактного космического наблюдателя. (При этом Лесли предполагается, что мы живём в детерминистическом мире, то есть, хотя мы этого и не знаем, но эта вероятность твёрдо определена самими свойствами нашей цивилизации.) Теперь, если применить теорему Байеса и модифицировать эту априорную вероятность с учётом того факта, что мы обнаруживаем себя так рано, то есть среди первых 200 млрд. людей, мы получим сдвиг этой априорной вероятности в тысячу раз (разница между миллиардами и триллионами). То есть вероятность того, что мы попали в ту цивилизацию, которой суждено умереть относительно рано, стала 99,95%.
Проиллюстрируем это примером из жизни. Допустим, в соседней комнате сидит человек, который с равной вероятностью читает или книгу, или статью. В книге – 1000 страниц, а в статье 10 страниц. В случайный момент времени я спрашиваю этого человека, какой номер страницы, которую он читает. Если номер страницы больше, чем 10, я однозначно могу заключить, что он читает книгу, а если номер страницы меньше 10, то здесь мы имеем тот случай, когда можно применять теорему Байеса. 
Номер меньше 10 может получиться в двух случаях:
А) человек читает книгу, но находится в её начале, вероятность этого – 1% из всех случаев, когда он читает книгу.
Б) Человек читает статью, и здесь эта вероятность равна единице из всех случаев, когда он читает статью.
Иначе говоря, из 101 случая, когда номер страницы может оказаться меньше 10, в 100 случаях это будет потому, что человек читает статью. А значит, что вероятность того, что он читает статью, после получения нами дополнительной информации о номере страницы стала 99%. 
Свойство приведённых рассуждений состоит в том, что оно резко увеличивает даже очень небольшую вероятность вымирания в XXI веке. Например, если она равна 1% с точки зрения некого внешнего наблюдателя, то для нас, раз мы обнаружили себя в мире до этого события, она может составлять 99.9 процентов. (В предположении, что в галактической цивилизации будет 200 триллионов человек.)
Из этого следует, что, несмотря на абстрактность и сложность для понимания данных рассуждений, мы должны уделять не меньшее внимание попыткам доказать или опровергнуть рассуждение Картера-Лесли, чем мы тратим на предотвращение ядерной войны.
Многие учёные стараются доказать или опровергнуть аргумент Картера-Лесли, и литература на эту тему обширна. И хотя он мне кажется достаточно убедительным, я не претендую на то, что доказал этот аргумент окончательно. Я рекомендую всем, кому кажется очевидной ложность приведённых выше рассуждений, обратиться к литературе по этой теме, где подробно рассмотрены различные аргументы и контраргументы.
Рассмотрим ещё несколько замечаний, которые работают за и против аргумента Картера-Лесли. Важным недостатком DA по Картеру-Лесли является то, что время будущего выживания людей зависит от того, каким мы выберем число людей в «длинной» цивилизации. Например, при вероятности вымирания в XXI веке в 1% и при будущем числе людей в длинной цивилизации в 200 триллионов происходит усиление в 1000 раз, то есть мы имеем 99,9 процентов вымирания в XXI веке. Если пользоваться логарифмической шкалой, это даёт «период полураспада» в 10 лет. Однако если взять число людей в длинной цивилизации в 200 квинтильонов, то это даст шанс в одну миллионную вымирания в XXI веке, что есть 2**20 степени, и ожидаемый «период полраспада» только в 5 лет. Итак, получается, что, выбирая произвольную величину времени выживания длинной цивилизации, мы можем получать произвольно короткое ожидаемое время вымирания короткой цивилизации. Однако наша цивилизация уже просуществовала на наших глазах больше, чем 5 или 10 лет. 
Чтобы учесть это различие, мы можем вспомнить, что чем больше людей в длинной цивилизации, тем менее она вероятна в соответствии с формулой Готта. Иначе говоря, вероятность того, что цивилизация вымрет рано – высока. Однако, судя по всему, рассуждение Картера-Лесли ещё больше усиливает эту вероятность. Однако сложно сказать, корректно ли применять рассуждение Картера-Лесли вместе с формулой Готта, так как здесь может получиться так, что одна и та же информация учитывается дважды. Этот вопрос нуждается в дальнейших исследованиях.
Оригинальное рассуждение Картера-Лесли содержит и ряд других логических проколов, которые были обобщены Бостромом в своих статьях, и основные из них относится к проблеме выбора референтного класса, а также к сомнениям в том, что выборка является действительно случайной. Объём рассуждений на эту тему настолько велик и сложен, что здесь мы только вкратце очертим эти возражения.
Проблема референтного класса состоит в выборе того, кого именно мы должны считать людьми, к которым относится данное рассуждение. Если мы вместо людей возьмём животных, наделённых мозгом, то их будут тысячи триллионов в прошлом, и мы вполне можем ожидать такое же их количество в будущем. Я вижу решение проблемы референтного класса в том, что, в зависимости от того, какой именно референтный класс мы выбираем, соответствующее событие должно считаться концом его существования. То есть каждому референетному классу соответствует свой «конец света». Например, то, что в будущем будет только ещё несколько сотен миллиардов людей, никак не мешает тому, что в будущем будут ещё тысячи триллионы наделённых мозгом существ. 
Вторая логическая ошибка в рассуждении Картера-Лесли состоит в неслучайности выборки. Дело в том, что если бы я родился до ХХ века, то я бы никогда не узнал о рассуждении Картера-Лесли и никогда бы не мог задаться вопросом о его применимости. Иначе говоря, здесь имеется эффект наблюдательной селекции – не все наблюдатели равноценны. Поэтому на самом деле рассуждение Картера-Лесли может применяться только теми наблюдателями, которые знают о нём. 
Однако это резко ухудшает наши шансы на выживание, даваемые DA. Ведь DA известен только с 80-х годов ХХ века, то есть 27 лет. (Более того, в начале он был известен только более узкому кругу людей. То есть эти 27 лет смело можно сократить лет до 20.) Если взять эти 27 лет, и применить к ним формулу Готта, мы получим 50 процентов вероятности гибели в промежуток от 9 до 81 года с настоящего момента, что примерно означает более 50 процентов для XXI века. Как ни странно, эта оценка не сильно расходится с двумя предыдущими. 
Можно произвести рассуждение и по-другому. Рассмотрим промежуток времени, в течение которого существуют глобальные риски. При этом в качестве точки отсчёта возьмём 1945 год, а в качестве точки случайного наблюдения – тот момент, когда я узнал о возможности ядерной войны, как одного из глобальных рисков – 1979 год. (В качестве длящегося события здесь мы рассматриваем период от начала периода подверженности риску до его окончания.) Итак, в момент случайного наблюдения этот риск уже существовал в течение 30 лет. Формула Готта даёт промежуток 50% для шансов реализации риска с 10 до 90 лет (от 1980 года). То, что это событие до сих пор не случилось, вносит определённый сдвиг в оценку, но, тем не менее, мы можем сказать, что эти 50 процентов всё ещё действуют на остаток от промежутка в 90 лет с 1980 года, то есть до 2070 года. Иначе говоря, вероятность прекращения ситуации с глобальными рисками составляет более 50 процентов в XXI веке. Опять примерно тот же результат. Прекращение это может быть как реализация риска, так и переход в некое иное безрисковое состояние, о котором пока сказать ничего невозможно. Если же принять во внимание, что в реальности плотность риска росла в промежуток с 1945 по 70-е годы, то это значительно ухудшит нашу оценку.
8.6. Аналогия с человеком.
Другим способом оценки глобальных рисков может быть аналогия. Очевидно, что наша цивилизация становится всё сложнее. И по сложности она начинает приближаться к единому живому организму. Следовательно, к ней применимы те же представления о распределении и плотности рисков, как для живого организма. Далее, наша цивилизация гораздо больше заботится о выживании одного человека, чем о себе в целом. Поэтому её выживаемость вряд ли лучше, чем выживаемость отдельно взятого человека. Средняя продолжительность жизни современного человека около 80 лет. Средний возраст людей на Земле – 25 лет. Значит, ожидаемая средняя продолжительность остатка жизни людей – 55 лет. Если мы согласны с тем, что прочность современной цивилизации меньше или равна человеческой прочности, то таково же среднее ожидание выживания нашей цивилизации. Это опять-таки даёт более 50 процентов вымирания в XXI веке. 
8.7. Непрямая оценка вероятности природных катастроф.
Мы можем оценить вероятность природной глобальной катастрофы по тому времени, которое мы уже существуем. Однако при этом будет действовать эффект наблюдательной селекции, в силу которого ожидаемое будущее время будет меньше, чем прошлое (см. подробнее «Природные катастрофы и антропный принцип»). Всё же вряд ли вклад наблюдательной селекции составляет больше одного порядка. Однако для разных уровней природных катастроф мы имеем разные характерные периоды времени. Например, жизнь на Земле существует уже 4 млрд лет, и, с учётом сказанного, она могла бы существовать ещё не менее 100 - 400 млн. лет. (Наблюдательная селекция здесь состоит в том, что мы не знаем, какая доля планет земного типа гибнет в процессе эволюции; предположив, что доля уцелевших составляет от 1000 до триллиона и получаем оценки в 100-400 млн.лет как период полураспада.) То есть непрямая оценка вероятности природной катастрофы была бы 1 к 4 000 000 за сто лет. Это пренебрежимо малая величина на фоне других рисков. Что касается времени существования нашего вида, то последняя природная катастрофа, угрожавшая ему, была гораздо ближе во времени, 74 000 лет назад, и поэтому мы имеем гарантировано только 7 000 лет с учётом возможного эффекта наблюдательной селекции. Наблюдательная селекция здесь состоит в том, что если бы люди были очень мало живучим видом, который вымирает с периодичностью раз в несколько тысяч лет, мы не могли бы заметить этого, так как мы можем заметить только ту ветвь нашего вида, которая прожила достаточный срок, необходимый для формирования цивилизации, в которой мы можем задаться данным вопросом. 7000 лет соответствовало бы с учётом огромной погрешности таких рассуждений примерно 1% вымирания в XXI веке в результате природных катастроф или внутренней присущей виду неустойчивости – причём это максимальная оценка в наихудшем случае. Если не брать в расчет наблюдательную селекцию, то шансы природной катастрофы любого рода, ведущей к вымиранию человечества, на основании прошлого времени существования можно вычислить с помощью формулы Готта, и они будут 1 к 1500 за 100 лет, то есть 0,066%, что очень мало. 
Наконец, есть третьего рода катастрофы, которые мы можем оценить по прошлому времени, а именно, времени, в течение которого существует письменная история, то есть 5000 лет. Мы можем смело утверждать, что за 5000 лет не произошло ни одной катастрофы, которая бы прервала письменную историю. Здесь тоже возможна, но маловероятна наблюдательная селекция, поскольку сильнее действуют не природные, а антропогенные факторы. Та катастрофа, которая могла бы прервать письменную историю 3000 лет назад, например, извержение сверхвулкана в Средиземноморье, сейчас бы уже не могла сделать это. Поэтому можно смело сказать, что природная катастрофа, прерывающие письменную традицию (такой, как она была в прошлом, а не сейчас) имеет шансы не более 1% в XXI веке, считая по формуле Готта. А поскольку сейчас письменная традиция гораздо прочнее, чем в прошлом, то можно эту оценку смело уполовинить. 
Наконец, эффект наблюдательной селекции может иметь отношение и к антропогенным катастрофам, а именно, к глобальному риску ядерной войны.
Эффект наблюдательной селекции состоит в том, что мы не знаем, каковы были шансы нашей цивилизации выжить в период с 1945 до 2007 года, то есть за время существования ядерного оружия. Может быть, в девяти из десяти «параллельных миров» это не удалось. Соответственно, в результате мы можем недооценивать глобальные риски. 
Если бы интенсивность изменения числа наблюдателей была бы очень велика, то это оказывало бы «прижимающее» воздействие на дату, в которой бы мы себя обнаруживали – то есть мы бы вероятнее всего обнаруживали себя достаточно рано. См. подробнее статью Бострома и Тегмарка, где предложены точные выкладки для одного частного случая. Если бы вероятность риска вымирания составляла бы 90 процентов в год, тогда бы я, скорее всего, жил бы не в 2007, а в 1946. То, что я всё ещё жив в 2007 году, даёт определённый верхний предел (с определённой заданной достоверностью) на темп вымирания. А именно: 
5 летний период «полураспада» можно исключить примерно с вероятностью 99,9 (так как за 50 лет прошло 10 циклов по 5 лет, и 2 в 10 степени это 1024. то есть за 50 лет уцелела бы только одна тысячная планет.)
25 лет с вероятностью в 75 процентов,
50 лет – с вероятностью в 50 процентов. 
100 лет – не более 25 процентов. 
Итак, можно достаточно достоверно исключить периоды «полураспада» цивилизации меньшие, чем 50 лет. Однако большие мы исключить не можем. Это, конечно не значит, что реальный период «полураспада» и есть 50 лет, однако, если исходить из принципа предосторожности, то надо предположить, что это так. Такой период полураспада означал бы наши шансы дожить до XXII века примерно в 25 процентов. 
Выводы: различные независимые методы непрямых рассуждений дают оценки вероятности гибели цивилизации в XXI веке в десятки процентов. Это не должно нас успокаивать в том смысле, что как будто бы это гарантирует нам десятки процентов выживания. Потому что, если учесть степень неопределённости таких рассуждений, то это события категории Е1, которая, как мы предположили в начале, означает риски от 1 до 100 %. 
8.8. Рассуждение о Симуляции.
Ник Бостром разработал следующую логическую теорему, называемую рассуждением о Симуляции. 
Исходя из текущих тенденций в развитие микроэлектроники, кажется вполне вероятным, что рано или поздно люди создадут саморазвивающийся искусственный интеллект. Нанотехнологии обещают предельную плотность процессоров в триллион штук на грамм вещества (углерода) - с производительностью порядка 10**20 флопс. Плюс нанотехнологии позволят превращать залежи каменного угля в такое устройство. Это открывает перспективу превращения всей Земли в «компьютрониум» - одно огромное вычислительной устройство. Очевидно, что такая вычислительная мощь могла бы создавать детальные симуляции своего человеческого прошлого. Мощность такого устройства оценивается в 10**40 операций в секунду. (Что соответствует превращению миллиона кубических километров вещества в компьютрониум, который покроет всю Землю слоем в 2 метра.) Использование всего твёрдого вещества в Солнечной системе даст порядка 10**50 флопс. Поскольку предполагается, что для симуляция одного человека нужно не более, чем 10**15 флопс (это число основано на количестве нейронов и синапсов в мозгу, и частоте их переключения), то это даст возможность симулировать одновременно 10**35 людей, или 10**25 цивилизаций, подобных нашей, с нашей же скоростью развития. Вряд ли компьютрониум направит все свои ресурсы на симулирование людей, но даже если он выделит на это одну миллионную усилий, это будет всё ещё порядка 10**19 человеческих цивилизаций. Итак, даже если только одна из миллиона цивилизаций порождает компьютрониум, то этот компьюториум порождает порядка 10**19 цивилизаций, то есть на каждую реальную цивилизацию приходится 10**13 виртуальных. 
Отсюда Ник Бостром делает вывод, что верно одно из трёх:
1) Или наша цивилизация погибнет и не создаст компьюториум.
2) Или компьюториум будет абсолютно не заинтересован в моделировании своего прошлого.
3) Или мы уже находимся внутри имитации в компьюториуме.
При этом пункт 2 можно исключить из рассмотрения, потому что есть причины, по которым компьюториуму будет интересно, каковы именно были обстоятельства его возникновения, но нет такой универсальной причины, которая могла бы действовать на все возможные компьюториумы, не позволяя им моделировать своё прошлое. Причина интереса к своему прошлому может быть много, назову несколько – это вычисление вероятности своего возникновения, чтобы оценить плотность других сверхцивилизаций во вселенной или развлечение людей или неких других существ. 
В этом случае рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции».
Впрочем, гибель мира в этом рассуждении не означает вымирания всех людей – она означает только гарантированную остановку прогресса до того, как компьюториум будет создан. Гарантированность её означает не только, что она произойдёт на Земле, но и на всех остальных возможных планетах. То есть она означает, что имеется некий очень универсальный закон, который препятствует подавляющему большинству цивилизаций создать компьюториум. Возможно, это происходит просто потому, что компьюториум невозможен, или потому что моделирование человеческого сознания на нём невозможно. Но может быть, что это происходит потому, что ни одна цивилизация не может достичь уровня компьюториума, так как сталкивается с некими неразрешимыми противоречиями, и вынуждена или погибнуть, или откатится назад. Эти противоречия должны носить универсальный характер, а не быть связаны только, скажем, с атомным оружием, потому что тогда цивилизации на тех планетах, в коре которых нет урана, смогут устойчиво развиваться. Примером такого универсального противоречия может быть теория хаоса, которая делает системы выше определённого уровня сложности принципиально нестабильными. 
Известное возражение к рассуждению о симуляции опирается на то, что симуляция реальности вовсе не обязательно является копией того, что было в прошлом. (См. обзор возражений рассуждению о симуляции в статье Д.Медведева «Живём ли мы в спекуляции Ника Бострома?») И если мы находимся в сконструированном мире, то это не позволяет нам делать выводы о том, каков реальный мир. Как, например, не может монстр из компьютерной игры догадаться о реальном устройстве мира людей. Однако то, что мы не знаем, каков мир за пределами симуляции, не мешает нам знать, что мы всё же находимся в симуляции. Здесь важно различать два смысла слова «симуляция» - как компьютерной модели, и как того факта, что эта модель напоминает некое историческое событие из прошлого. При этом можно предположить, что большинство симуляций не являются точными подобиями прошлого, и значительная доля симуляций вообще не имеет отношения к прошлому той цивилизации, которая их затем создала. Также и в литературе большинство романов не является историческими романами, и даже исторические романы не точно совпадают с прошлым.
Если мы находимся внутри симуляции, нам угрожают все те же риски гибели, которые могут случиться и в реальности, плюс вмешательство со стороны авторов симуляции, которые нам могут подкинуть некие «трудные задачки» или исследовать на нас некие экстремальные режимы, или просто поразвлечься за наш счёт, как мы развлекаемся, просматривая фильмы про падение астероидов. Наконец, симуляция может быть просто внезапно выключена. (У симуляции может быть предел ресурсоёмкости, поэтому авторы симуляции могут просто не позволить нам создавать настолько сложные компьютеры, чтобы мы могли запускать свои симуляции.)
Итак, если мы находимся в симуляции, это только увеличивает нависшие над нами риски и создаёт принципиально новые – хотя появляется шанс внезапного спасения со стороны авторов симуляции.
Если же мы не находимся в симуляции, то велик шанс, что любые цивилизации по причине катастроф не достигают уровня создания компьюториума, который мы могли к концу XXI века. А это означает, велика вероятность неких глобальных катастроф, которые не позволят нам достичь этого уровня. 
Получается, что рассуждение о симуляции действует таким образом, что обе его альтернативы ухудшают наши шансы выживания в XXI веке, то есть его нетто вклад отрицательный, независимо от того, как мы оцениваем шансы одной из двух альтернатив. (Моя мнение состоит в том, что вероятность того, что мы находимся в симуляции, – выше, чем вероятность того, что мы реальная цивилизация, которой суждено погибнуть, и на много порядков.)
Интересно отметить повторяющийся паттерн: альтернатива с SETI также имеет отрицательный нетто-эффект – если они рядом, то мы в опасности, если их нет, то мы тоже в опасности, поскольку это значит, что некоторые факторы мешают им развиваться.
8.9. Интеграция различных непрямых оценок.
Все приведённые непрямые оценки выполнены независимо друг от друга, хотя дают примерно одинаковые и неутешительные результаты, состоящие в том, что вероятность человеческого вымирания высока. Однако поскольку эти рассуждения относятся к одной и той же реальности, возникает желание состыковать их в более целостную картину. Рассуждение о симуляции Бострома существует логически отдельно от рассуждения конце света Картера-Лесли (которое ещё надо связать с формулой Готта), и соответственно возникает соблазн их «поженить». Такая попытка предпринимается в работе «Doomsday Simulation Argument». Их, в свою очередь интересно связать с квантовым бессмертием в духе Хигго и с влиянием эффекта наблюдательной селекции.
Я полагаю, что суть этой интеграции должна быть в том, что мы выясним, какие рассуждения перекрывают другие, то есть какие из них являются более сильными. (При этом, возможно, что последующие исследования смогут дать более точную картину интеграции, и сведут все отдельные выкладки к одной формуле.)
Я вижу такой порядок мощности высказываний (более сильные утверждения, отменяющие более слабые, сверху). При этом я не имею в виду, что все они истины. 
a. Качественная теория сознания, основанная на понятии о квалиа. Если она верна, то остальные рассуждения не работают или нуждаются в существенной переоценке. Теории о квалиа пока не существует, есть только несколько логических парадоксов, с этим связанных. Однако, судя по всему, теория о квалиа может исключать представления о множественности миров и линейности времени. В силу этого такая теория, будь она создана и доказана, сделала бы неправомочными любые нижеследующие рассуждения.
b. Рассуждение о бессмертии Хигго, основанное на идее о множественности миров. В этом случае всегда найдётся мир, где я, и часть земной цивилизации соответственно, не погибла. Эта теория не зависит от того, нахожусь я в симуляции или нет, поэтому её выводы не зависят от верности рассуждения о симуляции. Рассуждение о бессмертии Хигго является очень сильным, потому что оно не зависит ни от конца света, ни от того, находимся ли мы в симуляции или нет. Бессмертие по Хигго делает личный конец света невозможным. Ни один хозяин симуляции никак не может повлиять на работу рассуждения Хигго, потому что всегда найдётся бесконечное количество других симуляций и реальных миров, в точности совпадающих с данной в текущий момент времени, но имеющих с ней разные будущие. Однако рассуждение Хигго опирается на «self sampling assumption’ – то есть идею о том, что я являются одним из экземпляров из множества своих копий – а на эту же идею опираются и все последующие рассуждения – аргумент о симуляции, формула Готта, рассуждение о конце света Картера-Лесли. Любые попытки опровергнуть бессмертие по Хигго, основанное на невозможности рассмотрения себя как одного из экземпляров из множества своих копий одновременно опровергают и все эти рассуждения. 
c. Аргумент о симуляции Бострома. Он тоже работает в предположении о множественности миров, тогда как последующие рассуждения не учитывают этот факт. Кроме того, если мы на самом деле находимся в симуляции, то мы не наблюдаем мир с случайный момент времени, поскольку симуляции, скорее, будут привязаны к исторически интересным эпохам. Наконец, рассуждения в духе DA требуют возможной непрерывной нумерации людей или времени, что в случае множества симуляций не работает. Поэтому любые формы DA утрачивают силу, если рассуждение о симуляции верно. Рассуждение о симуляции сильнее рассуждения о конце света Картера-Лесли и формулы Готта, потому что оно работает, независимо от того, сколько ещё людей будет в нашем реальном мире. Более того, оно существенно размывает понятия о количестве людей и том, что такое реальный мир, поскольку непонятно, должны ли мы учитывать будущих людей из других симуляций, как реальных. Непонятно также, должна ли каждая симуляция симулировать весь мир от начала до конца, или только некий отрезок его существования только для нескольких людей.
d. Формула Готта. Формула Готта проверенно работает в отношении событий, не связанных с изменением числа наблюдателей, например, в отношении радиоактивного распада, даты сноса берлинской стены, предсказания продолжительности человеческой жизни и т. д. Однако она даёт гораздо более мягкую оценку будущей продолжительности существования человечества, чем аргумент Картера-Лесли. Формула Готта является более простым и понятным инструментом для оценки будущего, чем рассуждение Картера-Лесли. Хотя бы потому, что формула Готта даёт конкретные числовые оценки, а рассуждение Картера-Лесли даёт только поправку к исходным вероятностям. Далее, формула Готта применима к любым референтным классам, так как для любого класса она даёт оценку времени завершения именного этого класса. А в рассуждении Картера-Лесли упоминается обычно именно смерть наблюдателя, и его надо адаптировать ситуациям, где наблюдатель не умирает. Вопрос о том, следует ли применять поправки, даваемые рассуждением Картера-Лесли к оценкам, которые дала формулой Готта, требует дальнейшего исследования.
e. Аргумент Картера-Лесли. Важным условием аргумента Картера-Лесли является не существование других цивилизаций, помимо земной. Кроме того, очень трудно придумать реальный эксперимент, в котором можно было бы проверить силу этого рассуждения. А мысленные эксперименты работают с определёнными натяжками.
f. Парадокс Ферми находится тоже внизу этой таблицы, поскольку рассуждение о симуляции очевидным образом отменяет его значение: в симуляции плотность цивилизаций может быть любой, равно как и риск их агрессии, в зависимости от прихоти владельцев симуляции. 
Всё сказанное здесь о непрямых способах оценки находится на грани между доказуемым и гипотетическим. Поэтому я предлагаю не принимать на веру сделанные выводу, но и не отбрасывать их. К сожалению, исследования непрямых способов оценки вероятности глобальной катастрофы могут пролить свет на наше ожидаемое будущее, но не дают ключей к его изменению.
9. ЗАКЛЮЧЕНИЕ. НАИБОЛЕЕ ВЕРОЯТНЫЙ СЦЕНАРИЙ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
Теперь мы можем попытаться обобщить все собранные данные, обрисовав наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть best guess – наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не буду выдавать её за объективную точно вычисленную вероятность. В зависимости от того, какая будет появляться новая информация, я буду корректировать свою оценку. 
В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно также создание ядерного оружия судного дня тоже требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия. Эти предположения сделаны относительно данных угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько это могут.
Итак, я вижу два наиболее вероятных сценария глобальной окончательной катастрофы в XXI веке, ведущей к полному человеческому вымиранию:
1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные к человеку цели. 
2) Системный сценарий, в котором ведущую роль играет биологической оружие и прочие продукты биотехнологий, но также будет применяться ядерное оружие и микророботы. Также будут играть свою роль распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что не будет какого-то одного уничтожающего людей фактора, а будет вал множества факторов, превосходящий все возможности по выживанию.
Наиболее вероятное время действия обоих сценариев – 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 процентов они произойдут в указанный промежуток времени. Эта оценка происходит из того, что, исходя из текущих тенденций, вряд ли обе технологии созреют до 2020 года или после 2040 года.
Теперь просуммируем все возможные сценарии с учётом их взаимного влияния так, чтобы сумма была равна 100% (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка).
Оценим общую вероятность человеческого вымирания, в соответствии со словами сэра Мартина Риса, в 50%. Тогда выглядят убедительными следующие оценки:
15% - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ обладает способностью отыскать и воздействовать на всех людей без исключения – в большей мере, чем другие факторы.
15% - системный кризис с многократным применением биологического и ядерного оружия.
14% - нечто неизвестное.
1% - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.
0,1% – естественные природные катастрофы, 
0,9% – неудачные физические эксперименты
1% - серая слизь – нанотехнологическая катастрофа
1% - атака через SETI
1% - ядерное оружие судного дня
1% - прочие

Вторые 50% приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:
15% – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.
10% – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, зоопарк, безработные у телевизора. Власть переходит к ИИ и машинам.
5% – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается в качестве наилучшего варианта традиционными футурологами. 
20% – Откат на стадию постапоклиптического мира. Разные уровни деградации. 
Теперь рассмотрим возможное влияние на эти цифры разных форм теоремы о конце света. Формула Готта, взятая в отношении всего числа людей на Земле, даёт незначительные шансы вымирания в XXI веке – на уровне нескольких процентов, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Однако если применить формулу Готта к моему рангу в множестве всех людей, которые знают о формуле Готта, то шансы выживания в XXI веке оказываются призрачными (если отождествлять завершение этого множества и человеческое вымирание). Вопрос о том, в какой мере мы имеем право использовать формулу Готта таким образом, остаётся открытым. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Лесли без применения теоремы о конце света оценивает шансы человеческого вымирания в 5%, а после применения – в 30%. При этом в вычислении конкретного значения в тексте своей книги он берёт другие значения, а именно, априорную вероятность вымирания в ближайшее время в 1%, и разрыв между численностью человечества при «плохом» и при хорошем сценарии в тысячу раз. Тогда эти априорные 1% превращаются у него через формулу Байеса в апостериорные 50%. Однако если мы применим те же предположения к нашей априорной вероятности в 50%, то получим шансы вымирания в 99,9%. Наконец третий вариант теоремы о конце света в формулировке Бострома-Тегмарка, адаптированной мной к меньшим процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1%. Наихудшим проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны, которая бы снизила максимальную частоту этого события от одного события раз в несколько десятков лет, до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что здесь всё не так плохо. 
Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её избегания. Это наводит на мысль, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Сэр Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и растёт. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое зависит от нас сейчас. 
Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. (РФ объявила программу по развитию нанотехнологий. Значит, уже видно их оборонное значение и понятна возможность создания «серой слизи».) Понимание серьёзности рисков должно сплоить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы. 

10. Рекомендуемая литература:
Здесь я привожу список книг, который, на мой взгляд, полезно прочитать человеку, интересующемуся глобальными рисками. 
Азимов Айзек,«Выбор катастроф».
http://bookz.ru/authors/azimov-aizek/azimov_katastrof.html
В. Александров, Никита Николаевич Моисеев 
"Ядерный конфликт — глазами климатологов и математиков".
http://www.pseudology.org/ZnanieSila/Yaderny_Konflict.htm
«Биовойна для чайников» Biowar for Dummies 
by Paul Boutin
http://www.membrana.ru/articles/global/2006/02/22/220500.html
Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)
Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006
Бостром Н. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. http://www.proza.ru/texts/2007/04/04-210.html
Бостром Н. «А не живем ли мы в «Матрице»? 
Доказательство методом моделирования».
http://alt-future.narod.ru/Future/bostrom3.htm
Тегмарк М. и Бостром Н. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
Ник Бостром. Сколько осталось до суперинтеллекта? 
http://mikeai.nm.ru/russian/superint.html
Ваганов А. Сценарии парниковой катастрофы. 
http://science.ng.ru/policy/2001-04-18/1_accident.html
Вернор Виндж. Технологическая Сингулярность.
http://www.computerra.ru/Authors/2922/
Джой Б. Почему мы не нужны будущему.
http://old.computerra.ru/online/firstpage/14084/for_print.html
Дрекслер Э. «Машины созидания». http://mikeai.nm.ru/russian/eoc/eoc.html
Диринг М. «Рассвет Сингулярности». 

«За горизонтом предсказуемости»
Небольшая интересная статья о предсказуемости, хаосе, траекториях и тяжёлых хвостах
http://www.iwf.ru/forum/content.php?article.17
Лем С., «Непобедимый». http://lib.web-malina.com/getbook.php?bid=2778&page=1
Лем, С. «Системы оружия двадцать первого века или Эволюция вверх ногами».
http://bio.fizteh.ru/student/diff_articles/weapon_xxi.html
Лем С. «Фантастика и футурология». Главы о футурологии из первого тома.
http://www.avturchin.narod.ru/lem.txt
Малинецкий Г.Г. и др. «Управление риском. Риск. Устойчивое развитие. Синергетика». http://www.keldysh.ru/papers/2003/source/book/gmalin/titul.htm
Медведев Д. «NBIC конвергенция». http://www.transhumanism-russia.ru/content/view/317/116/
Мухамедиев Р. Эмпирическая оценка закона гиперболического роста сложности высокоорганизованной материи. 
http://ravil.astersoft.net/Articles/IncreasingComplexity.htm
Назаретян А.П. Цивилизационные кризисы 
в контексте Универсальной истории
(Синергетика – психология – прогнозирование)
Пособие для вузов
http://macroevolution.narod.ru/nazaretyan03.htm
Панов А. Д. «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии» 
http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html
Переслегин С.Б., Столяров А.
«Научно-обоснованный конец света»
http://okh.nm.ru/materials/Pereslegin/Per_EndOfTime.htm
«Причины катастроф: Глупость, Небрежность и Корысть» статья в Вашингтон пост, http://www.washprofile.org/?q=ru/node/1093
Рис Мартин. «Наш последний час. Предостережение ученого: как терроризм, ошибки и разрушения окружающей среды угрожают будущему человечества, Земле и окружающему ее космосу». -Нью-Йорк, 2003. - 228 с.
http://www.sciam.ru/2004/10/profile.shtml
Скоузен Марк «Кто предсказал крах 1929 года?»
http://www.sotsium.ru/books/65/61/skousen93.html
«Снижение боеготовности ядерных сил России и США -
путь к уменьшению ядерной угрозы.»
http://www.ieer.org/russian/pubs/dlrtbk-r.html
Шют, Н. «На берегу».
Юдковски Э. «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков» 
http://www.proza.ru/texts/2007/03/08-62.html
Юдковски Э. «Искусственный интеллект как позитивный и негативный фактор глобального риска». 
http://www.proza.ru/texts/2007/03/22-285.html


Литература:

1. Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998
2. Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)
3. Воробьёв, Ю.Л, Малинецкий. Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
4. Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006
5. Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985
6. Еськов К.Ю. История Земли и жизни на ней. – М., НЦ ЭНАС, 2004.
7. Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // 1999. Журнал технической физики, том 69, вып. 9.
8. Сорохтин О.Г., Ушаков С.А. Развитие Земли. - М: Изд-во МГУ, 2002.
9. Сывороткин Владимир Леонидович. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, - М. 2001. – 302 С. 
10. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002
11. Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира // 2004. Природа N 6.
12. Шкловский И.С. Звёзды. Их рождение, жизнь и смерть. - М., Наука, 1984.
13. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
14. Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002.
15. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.
16. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.
17. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.
18. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.
19. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )
20. Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.
21. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.
22. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.
23. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.
24. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.
25. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.
26. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.
27. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.
28. Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.
29. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
30. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL: 
31. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.
32. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.
33. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.
34. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.
35. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
36. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.
37. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.
38. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.
39. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.
40. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.
41. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).
42. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.
43. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
44. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.
45. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL: 
46. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp
47. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.
48. Shute, N. (1989). On the Beach: Ballentine Books.
49. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.
50. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005
51. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.
52. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.
53. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.
54. Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. – NY, 2000. 
55. Warwick, K. (1997). March of the Machines. London: Century.
56. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.
57. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html )

58. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
59. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
60. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.